Modelling¶

In [2]:
from octis.evaluation_metrics.diversity_metrics import WordEmbeddingsInvertedRBOCentroid, TopicDiversity
from octis.evaluation_metrics.coherence_metrics import Coherence, WECoherenceCentroid
from octis.models.model import load_model_output, save_model_output
from octis.preprocessing.preprocessing import Preprocessing
from octis.optimization.optimizer import Optimizer
from octis.optimization.optimizer_tool import plot_bayesian_optimization, convergence_res
from nltk.sentiment.vader import SentimentIntensityAnalyzer
from skopt.space import Integer, Real, Categorical
from octis.dataset.dataset import Dataset
from gensim.models import Word2Vec
from IPython.display import Image
from octis.models.LDA import LDA
from octis.models.CTM import CTM
from octis.models.LSI import LSI
from octis.models.ETM import ETM
from gensim.models import Word2Vec
from gensim.models import Word2Vec
import matplotlib.pyplot as plt
from collections import Counter
from joblib import load, dump
import pandas as pd
import numpy as np
import shutil
import gensim
import string
import spacy
import nltk
import time
import os
import re

Three different variants of OCTIS models will be optimized and trained: The standard Latent Dirichlet Allocation (LDA) in its Gensim Implementation, a Contextualized Topic Model (CTM) relying heavily on the use of contextualized transformer models like Bert, as well as a Topic Model with which draws its topics and words from the embedding space of the original coprus (ETM) using word2vec.

In [4]:
word2vec_model = Word2Vec.load("./word2vec/word2vec_model")
df_ref=pd.read_csv('./preprocessing/results/df_books_prep.csv')
df_input=pd.read_csv('./preprocessing/results/df_books_chunk.csv')
In [20]:
#df_input['tokenized_text'] = df_input['preprocessed_text'].apply(lambda text: text.split())

In order to improve the salience of the results Mimno et all have argued for the importance of filtering a corpus to remove the most freuqent, as well as the most rare terms in order to make for more meaningful results. As threshhods they have proposed removing the top 5 to 10 percent of most frequent terms, as well as removing everyingth that doens't appear at least 5-10 times in the whole corpus.

In [21]:
# # Create a frequency distribution
# word_freq = Counter(word for doc in df_input['tokenized_text'] for word in doc)

# # Identify words to filter
# total_words = len(word_freq)
# top_5_percent = int(total_words * 0.05)
# most_common_words = set(word for word, freq in word_freq.most_common(top_5_percent))
# least_frequent_words = set(word for word, freq in word_freq.items() if freq < 5)

# # Combine the sets of words to remove
# words_to_remove = most_common_words.union(least_frequent_words)

# # Filter words from each document
# df_input['filtered_tokens'] = df_input['tokenized_text'] .apply(lambda doc: [word for word in doc if word not in words_to_remove])

# # Optionally, rejoin tokens into a single string
# df_input['filtered_text'] = df_input['filtered_tokens'].apply(' '.join)

We start with transforming the corpus in the necessary input format required for the octis model topic modeling implementations.

In [22]:
# Writing 'filtered_text' column to 'corpus.txt'
with open('./octis/corpus.txt', 'w', encoding='utf-8') as corpus_file:
    for preprocessed_text in df_input['filtered_text']:
        corpus_file.write(preprocessed_text + '\n')

#creating an input vocabulary file

vocabulary = set()

for text in df_input['filtered_text']:
    vocabulary.update(text.split())

with open('./octis/vocabulary.txt', 'w') as vocab_file:
    for word in sorted(vocabulary):
        vocab_file.write(word + '\n')
In [24]:
#octis expects a binary, not a model object
#word2vec_model.wv.save_word2vec_format('./word2vec/word2vec_model.bin', binary=True)

Latent Dirichlet Allocation, LDA is yet another transformation from bag-of-words counts into a topic space of lower dimensionality. LDA is a probabilistic extension of LSA (also called multinomial PCA), so LDA’s topics can be interpreted as probability distributions over words. These distributions are, just like with LSA, inferred automatically from a training corpus. Documents are in turn interpreted as a (soft) mixture of these topics (again, just like with LSA).

The variant of the dataset for model training and the variant for final later use only differ by the former carrying a split into training, test and validation set.

In [25]:
# preprocessor = Preprocessing(vocabulary=None, save_original_indexes=True, max_features=None,
#                              remove_punctuation=True, punctuation=string.punctuation, 
#                              lemmatize=False, stopword_list='english',
#                              min_chars=1, min_words_docs=0)
# # preprocess
# dataset = Dataset()
# dataset = preprocessor.preprocess_dataset(documents_path=r'/Storage/Studium/DigitalHumanities/Semester5/Thesis/code_notebooks/octis/corpus.txt')

# # # #save the preprocessed dataset

# dump(dataset, './octis/dataset.joblib')
dataset=load('./octis/dataset.joblib')

100%|██████████| 222/222 [00:00<00:00, 6371.09it/s]

created vocab
13198
In [5]:
# preprocessor = Preprocessing(vocabulary=None, save_original_indexes=True, max_features=None,
#                              remove_punctuation=True, punctuation=string.punctuation, 
#                              lemmatize=False, stopword_list='english',split=False, 
#                              min_chars=1, min_words_docs=0)
# # preprocess
# dataset_final = Dataset()
# dataset_final = preprocessor.preprocess_dataset(documents_path=r'/Storage/Studium/DigitalHumanities/Semester5/Thesis/code_notebooks/octis/corpus.txt')

# dump(dataset_final, './octis/dataset_final.joblib')
dataset_final=load('./octis/dataset_final.joblib')

Model Training¶

LDA¶

OCTIS - intrinsic optimization pipeline with skopt. All three models are optimized on the basis of on Word Embedding Coherence Centroid, a normalized metric which draws from an embedding space drawn from the original corpus in order to allow for a more domain specific and closer fit to the texts in use. In addition, as a secondary metric Diversity Centroid was chosen to influence the choice of model parameters towards a broader coverage of content inherent in the texts. The optimization method chosen by OCTIS by default is bayesian, which is a resource intensive stochastic approach well suited for otherwise difficult to optimize or evaluate models, which are taḱen as a black-box input.

In [27]:
# Define the hyperparameter space
parameter_space = {
    'num_topics': Integer(50, 101),  # Range of topics as integer
    'alpha': Real(0.001, 10, prior='uniform'),  # Dirichlet hyperparameter for document-topic distribution
    'eta': Real(0.001, 10, prior='uniform')  # Dirichlet hyperparameter for topic-word distribution
}

# Define the model
lda_model = LDA(num_topics=60, alpha=0.09, eta=5.0)

optimization_runs=200
model_runs=3

#npmi = Coherence(texts=dataset.get_corpus())
coherence_centroid = WECoherenceCentroid(topk=20, word2vec_path='./word2vec/word2vec_model.bin', binary=True)  
#topic_diversity = TopicDiversity(topk=10)
DiversityCentroid=WordEmbeddingsInvertedRBOCentroid(topk=20, weight=0.9, normalize=True, word2vec_path='./word2vec/word2vec_model.bin', binary=True)
#coherece_score = metric_coherence.score(dataset.get_corpus())
# Run the hyperparameter optimization
start = time.time()

optimizer=Optimizer()
optimizer_results_LDA = optimizer.optimize(model=lda_model, dataset=dataset, metric=coherence_centroid, 
                        search_space=parameter_space, number_of_call=optimization_runs, 
                        n_random_starts=5,surrogate_model='RF',
                        model_runs=model_runs, save_models=True, topk=20,
                        extra_metrics=[DiversityCentroid],save_path='./octis/results/', plot_best_seen=True)

end = time.time()
duration = end - start

# Save the results
optimizer_results_LDA.save_to_csv("./octis/results/Opt_LDAresults.csv")

print('Optimizing model took: ' + str(round(duration)) + ' seconds.')

Current call:  0
Current call:  1
Current call:  2
Current call:  3
Current call:  4
Current call:  5
Current call:  6
Current call:  7
Current call:  8
Current call:  9
Current call:  10
Current call:  11
Current call:  12
Current call:  13
Current call:  14
Current call:  15
Current call:  16
Current call:  17
Current call:  18
Current call:  19
Current call:  20
Current call:  21
Current call:  22
Current call:  23
Current call:  24
Current call:  25
Current call:  26
Current call:  27
Current call:  28
Current call:  29
Current call:  30
Current call:  31
Current call:  32
Current call:  33
Current call:  34
Current call:  35
Current call:  36
Current call:  37
Current call:  38
Current call:  39
Current call:  40
Current call:  41
Current call:  42
Current call:  43
Current call:  44
Current call:  45
Current call:  46
Current call:  47
Current call:  48
Current call:  49
Current call:  50
Current call:  51
Current call:  52
Current call:  53
Current call:  54
Current call:  55
Current call:  56
Current call:  57
Current call:  58
Current call:  59
Current call:  60
Current call:  61
Current call:  62
Current call:  63
Current call:  64
Current call:  65
Current call:  66
Current call:  67
Current call:  68
Current call:  69
Current call:  70
Current call:  71
Current call:  72
Current call:  73
Current call:  74
Current call:  75
Current call:  76
Current call:  77
Current call:  78
Current call:  79
Current call:  80
Current call:  81
Current call:  82
Current call:  83
Current call:  84
Current call:  85
Current call:  86
Current call:  87
Current call:  88
Current call:  89
Current call:  90
Current call:  91
Current call:  92
Current call:  93
Current call:  94
Current call:  95
Current call:  96
Current call:  97
Current call:  98
Current call:  99
Current call:  100
Current call:  101
Current call:  102
Current call:  103
Current call:  104
Current call:  105
Current call:  106
Current call:  107
Current call:  108
Current call:  109
Current call:  110
Current call:  111
Current call:  112
Current call:  113
Current call:  114
Current call:  115
Current call:  116
Current call:  117
Current call:  118
Current call:  119
Current call:  120
Current call:  121
Current call:  122
Current call:  123
Current call:  124
Current call:  125
Current call:  126
Current call:  127
Current call:  128
Current call:  129
Current call:  130
Current call:  131
Current call:  132
Current call:  133
Current call:  134
Current call:  135
Current call:  136
Current call:  137
Current call:  138
Current call:  139
Current call:  140
Current call:  141
Current call:  142
Current call:  143
Current call:  144
Current call:  145
Current call:  146
Current call:  147
Current call:  148
Current call:  149
Current call:  150
Current call:  151
Current call:  152
Current call:  153
Current call:  154
Current call:  155
Current call:  156
Current call:  157
Current call:  158
Current call:  159
Current call:  160
Current call:  161
Current call:  162
Current call:  163
Current call:  164
Current call:  165
Current call:  166
Current call:  167
Current call:  168
Current call:  169
Current call:  170
Current call:  171
Current call:  172
Current call:  173
Current call:  174
Current call:  175
Current call:  176
Current call:  177
Current call:  178
Current call:  179
Current call:  180
Current call:  181
Current call:  182
Current call:  183
Current call:  184
Current call:  185
Current call:  186
Current call:  187
Current call:  188
Current call:  189
Current call:  190
Current call:  191
Current call:  192
Current call:  193
Current call:  194
Current call:  195
Current call:  196
Current call:  197
Current call:  198
Current call:  199
Optimizing model took: 12472 seconds.
In [28]:
dump(optimizer_results_LDA, './octis/models/optimizer_results_LDA_long.joblib', compress=('lzma', 9))
Out[28]:
['./octis/models/optimizer_results_LDA_long.joblib']
In [3]:
optimizer_results_LDA=load('./octis/models/optimizer_results_LDA_long.joblib')
In [29]:
# the optimization process here is one of maximization, yet the provided function for plotting 
# assumes the oposite, so we shall invert the result.

values_to_plot_LDA = [-x for x in optimizer_results_LDA.info['f_val']]

plot_bayesian_optimization(values=values_to_plot_LDA, 
                          name_plot="LDA_Optimization_Convergence", 
                          log_scale=False, 
                          conv_max=True)

The optimization was successful

In [30]:
#The image is just dumped into the working directory, we shall move it somewhere more fitting

shutil.move('./LDA_Optimization_Convergence.png', './octis/results/LDA_Optimization_Convergence.png')

Image(filename='./octis/results/LDA_Optimization_Convergence.png')
Out[30]:
No description has been provided for this image
In [31]:
# Plotting WECoherenceCentroid' and 'WordEmbeddingsInvertedRBOCentroid' our two metrics
coherence_scores_LDA = [max(run) for run in optimizer_results_LDA.info['dict_model_runs']['WECoherenceCentroid'].values()]
diversity_scores_LDA = [max(run) for run in optimizer_results_LDA.info['dict_model_runs']['0_WordEmbeddingsInvertedRBOCentroid'].values()]

# Create a figure with twin y-axis for the second metric
fig, ax1 = plt.subplots(figsize=(10, 6))

ax1.set_xlabel('Iteration')
ax1.set_ylabel('Coherence Score', color='tab:blue')
ax1.plot(coherence_scores_LDA, marker='o', color='tab:blue')
ax1.tick_params(axis='y', labelcolor='tab:blue')
ax1.set_ylim(0.20, 0.32)

ax2 = ax1.twinx() 
ax2.set_ylabel('Diversity Score', color='tab:red')  
ax2.plot(diversity_scores_LDA, marker='o', color='tab:red')
ax2.tick_params(axis='y', labelcolor='tab:red')
ax2.set_ylim(0.75, 0.78)

plt.title('Optimization Progress for Coherence and Diversity')
ax1.grid(True)

plt.show()
No description has been provided for this image

for the choice of the best hyperparameters, we primarily take the coherence values into account, but use diversity as a form of secondary criterion. Of the ten best coherence scores we shall select the parameter set with the highest diversity score.

In [32]:
# Extract the best configurations based on coherence scores
coherence_scores_LDA = optimizer_results_LDA.info['dict_model_runs']['WECoherenceCentroid']
diversity_scores_LDA = optimizer_results_LDA.info['dict_model_runs']['0_WordEmbeddingsInvertedRBOCentroid']

# Extracting scores and hyperparameter configurations
combined_scores = []
for i, (coherence_run, diversity_run) in enumerate(zip(coherence_scores_LDA.values(), diversity_scores_LDA.values())):
    max_coherence = max(coherence_run)
    max_diversity = max(diversity_run)
    alpha = optimizer_results_LDA.info['x_iters']['alpha'][i]
    eta = optimizer_results_LDA.info['x_iters']['eta'][i]
    num_topics = optimizer_results_LDA.info['x_iters']['num_topics'][i]
    combined_scores.append((max_coherence, max_diversity, alpha, eta, num_topics))

# Sort by coherence score first and take the top ten
top_ten_by_coherence = sorted(combined_scores, key=lambda x: x[0], reverse=True)[:10]

# Select the configuration with the highest diversity score from the top ten
best_overall_LDA = max(top_ten_by_coherence, key=lambda x: x[1])

# Print the best configuration
print("Best Coherence Score:", best_overall_LDA[0])
print("Corresponding Diversity Score:", best_overall_LDA[1])
print("Best Configuration: num_topics =", best_overall_LDA[4], ", alpha =", best_overall_LDA[2], ", eta =", best_overall_LDA[3])

Best Coherence Score: 0.27711903966818585
Corresponding Diversity Score: 0.7611531671767668
Best Configuration: num_topics = 73 , alpha = 0.06460320991688963 , eta = 2.9415645388839033
In [33]:
best_num_topics = best_overall_LDA[4]
best_alpha = best_overall_LDA[2]
best_eta = best_overall_LDA[3]

# Now instantiate the LDA model with the best hyperparameters
best_model_LDA = LDA(num_topics=best_num_topics, 
                 alpha=best_alpha, 
                 eta=best_eta)

# Disable partitioning to use the entire dataset
best_model_LDA.partitioning(use_partitions=False)

# Train the model with the dataset
best_model_LDA = best_model_LDA.train_model(dataset_final)
In [3]:
#dump(best_model_LDA,'./octis/models/best_model_LDA.joblib', compress=('lzma', 9))
best_model_LDA = load('./octis/models/best_model_LDA.joblib')
In [27]:
#dump(best_model_LDA,'./octis/models/best_model_LDA_overall.joblib', compress=('lzma', 9))
#best_model_LDA = load('./octis/models/best_model_LDA_overall.joblib')

The topic output for the optimal model

In [35]:
top_words_per_topic_LDA = best_model_LDA['topics']

# Display the top words for each topic
for topic_id, words in enumerate(top_words_per_topic_LDA):
    print("Topic", topic_id + 1, ":", words)

Topic 1 : ['relation', 'sex', 'pressure', 'driver', 'delicacy', 'arranged', 'ruins', 'curtains', 'impatient', 'willing']
Topic 2 : ['plague', 'louder', 'motives', 'foreign', 'travel', 'examined', 'disappointment', 'prince', 'authority', 'prisoner']
Topic 3 : ['toll', 'winds', 'roar', 'tide', 'stage', 'lovers', 'er', 'sits', 'represented', 'wheels']
Topic 4 : ['milk', 'outline', 'fountain', 'staff', 'sunset', 'yonder', 'obtained', 'splendid', 'entire', 'fruit']
Topic 5 : ['abbot', 'assist', 'virtues', 'revenge', 'sons', 'labour', 'agitation', 'harm', 'delivered', 'amiable']
Topic 6 : ['abode', 'examined', 'obtained', 'gallery', 'disappointment', 'travel', 'ice', 'mile', 'arranged', 'that']
Topic 7 : ['beast', 'purple', 'lid', 'rare', 'camp', 'monster', 'the', 'marvellous', 'fashionable', 'merry']
Topic 8 : ['prophet', 'inspired', 'cavern', 'kings', 'ridiculous', 'yonder', 'crimson', 'wave', 'glare', 'lamps']
Topic 9 : ['the', 'quality', 'park', 'prince', 'guilt', 'disappointment', 'magnificent', 'entire', 'willing', 'rapid']
Topic 10 : ['kingdom', 'maiden', 'darling', 'willows', 'tent', 'angels', 'stronger', 'camp', 'older', 'reward']
Topic 11 : ['cigar', 'understanding', 'pleasures', 'severe', 'impatient', 'agitation', 'prisoner', 'chapel', 'housekeeper', 'willing']
Topic 12 : ['paw', 'earliest', 'major', 'silk', 'knock', 'harm', 'warning', 'nephew', 'ing', 'examined']
Topic 13 : ['the', 'paw', 'major', 'afterward', 'endeavour', 'sergeant', 'that', 'mistake', 'distinguish', 'fairy']
Topic 14 : ['er', 'lord', 'elder', 'cavern', 'staff', 'lightly', 'rival', 'terrific', 'faintly', 'milk']
Topic 15 : ['housekeeper', 'ocean', 'wave', 'prophet', 'flying', 'prisoner', 'clearly', 'noon', 'ice', 'date']
Topic 16 : ['lid', 'destined', 'contained', 'respectable', 'bushes', 'inside', 'mistake', 'flood', 'sisters', 'quality']
Topic 17 : ['prince', 'jealous', 'furnished', 'picked', 'chimney', 'savage', 'the', 'hint', 'italian', 'college']
Topic 18 : ['louder', 'honourable', 'cavern', 'rope', 'landlady', 'stillness', 'occasioned', 'bones', 'level', 'gods']
Topic 19 : ['abbot', 'yard', 'er', 'picked', 'echoed', 'crimson', 'lightly', 'visits', 'curtain', 'pattern']
Topic 20 : ['merry', 'captain', 'named', 'camp', 'wagon', 'showman', 'advance', 'bade', 'relations', 'earliest']
Topic 21 : ['pattern', 'gods', 'careful', 'ice', 'stir', 'rope', 'yard', 'queen', 'dressing', 'nice']
Topic 22 : ['conducted', 'endeavour', 'gallery', 'singer', 'absorbed', 'turns', 'prince', 'principal', 'officers', 'ceiling']
Topic 23 : ['student', 'honourable', 'paw', 'accents', 'earliest', 'merit', 'attendants', 'mischief', 'beard', 'disappointment']
Topic 24 : ['milk', 'traveller', 'relations', 'chimney', 'staff', 'nice', 'dogs', 'amiable', 'consent', 'pitcher']
Topic 25 : ['priests', 'honourable', 'foreign', 'system', 'temple', 'student', 'agitation', 'italian', 'revenge', 'attendants']
Topic 26 : ['abbot', 'monster', 'rope', 'obscurity', 'harbor', 'rat', 'beating', 'camp', 'severe', 'frequent']
Topic 27 : ['abbot', 'basket', 'exposed', 'yonder', 'sisters', 'bushes', 'afterward', 'amazement', 'cavern', 'burned']
Topic 28 : ['painter', 'galley', 'wounded', 'maiden', 'pardon', 'student', 'points', 'passionate', 'er', 'lord']
Topic 29 : ['dismal', 'milk', 'traveller', 'staff', 'hearth', 'stately', 'nice', 'marvellous', 'vampire', 'elder']
Topic 30 : ['enemies', 'milk', 'parent', 'abode', 'destruction', 'pattern', 'the', 'minister', 'prisoner', 'abbot']
Topic 31 : ['toll', 'verse', 'sex', 'forgive', 'remote', 'poem', 'maiden', 'warmth', 'torn', 'priests']
Topic 32 : ['guilty', 'louder', 'impatient', 'thrust', 'wounded', 'mistake', 'beating', 'agreed', 'endeavour', 'contempt']
Topic 33 : ['vampire', 'fruit', 'stately', 'suspected', 'muttered', 'recollect', 'ruined', 'astonished', 'hide', 'stricken']
Topic 34 : ['fountain', 'wedding', 'wave', 'hearth', 'heap', 'noon', 'breathed', 'housekeeper', 'flat', 'pressure']
Topic 35 : ['abbot', 'student', 'pattern', 'dwelling', 'blessed', 'onward', 'gallery', 'hearth', 'gates', 'advance']
Topic 36 : ['onward', 'poem', 'surrounding', 'yonder', 'glided', 'forwards', 'porch', 'verse', 'angels', 'numerous']
Topic 37 : ['tent', 'plague', 'bag', 'poem', 'lift', 'relations', 'wept', 'profound', 'trifle', 'sole']
Topic 38 : ['housekeeper', 'distinguish', 'wounded', 'endeavour', 'reflections', 'labour', 'folly', 'er', 'poverty', 'assist']
Topic 39 : ['prophet', 'lord', 'fruit', 'beating', 'prisoner', 'swiftly', 'agreed', 'dressing', 'fatigue', 'terrace']
Topic 40 : ['guilt', 'widow', 'dagger', 'poured', 'haired', 'reward', 'impatient', 'yard', 'assumed', 'mirth']
Topic 41 : ['merry', 'lord', 'the', 'that', 'abbot', 'funeral', 'fairy', 'poem', 'authority', 'smooth']
Topic 42 : ['milk', 'staff', 'chill', 'stir', 'torn', 'quality', 'bowed', 'pattern', 'knife', 'yonder']
Topic 43 : ['abbot', 'er', 'reputation', 'mistake', 'yield', 'guilt', 'maiden', 'fatigue', 'chimney', 'poured']
Topic 44 : ['louder', 'beating', 'lantern', 'groan', 'ray', 'bade', 'sexton', 'ocean', 'sum', 'cautiously']
Topic 45 : ['wave', 'dwelling', 'er', 'innocence', 'hearth', 'mode', 'elder', 'mummy', 'driver', 'ruined']
Topic 46 : ['knife', 'yes', 'stair', 'forgive', 'jumped', 'rode', 'didn', 'goblins', 'officers', 'rapid']
Topic 47 : ['monster', 'painter', 'sum', 'wave', 'captain', 'religion', 'employment', 'expectation', 'prince', 'rang']
Topic 48 : ['abbot', 'science', 'bade', 'ice', 'nobleman', 'deadly', 'guide', 'signs', 'ashamed', 'current']
Topic 49 : ['abbot', 'paw', 'major', 'sergeant', 'rat', 'rope', 'motionless', 'knock', 'starting', 'captain']
Topic 50 : ['sergeant', 'paw', 'examined', 'driver', 'afterward', 'plague', 'match', 'major', 'knock', 'chill']
Topic 51 : ['tent', 'bushes', 'beings', 'expectation', 'willows', 'flood', 'yes', 'revenge', 'canoe', 'behaviour']
Topic 52 : ['throne', 'th', 'st', 'hide', 'clergyman', 'wedding', 'yonder', 'roar', 'kings', 'guide']
Topic 53 : ['plague', 'artist', 'date', 'stage', 'abode', 'represented', 'absent', 'prophet', 'destined', 'military']
Topic 54 : ['the', 'beds', 'scarce', 'gun', 'candles', 'destruction', 'hath', 'warning', 'torn', 'queen']
Topic 55 : ['student', 'captain', 'hanging', 'accordingly', 'parent', 'foreign', 'coach', 'seeking', 'lord', 'examined']
Topic 56 : ['lid', 'dismal', 'lovers', 'housekeeper', 'slender', 'camp', 'enemies', 'prisoner', 'thrust', 'lamps']
Topic 57 : ['nice', 'abbot', 'carrying', 'didn', 'suspect', 'crying', 'fruit', 'prisoner', 'merry', 'monster']
Topic 58 : ['abbot', 'milk', 'staff', 'elder', 'sons', 'housekeeper', 'priests', 'marry', 'bones', 'th']
Topic 59 : ['er', 'nice', 'didn', 'stair', 'wave', 'monster', 'isn', 'yes', 'guide', 'that']
Topic 60 : ['milk', 'nice', 'traveller', 'tent', 'mischief', 'priests', 'fruit', 'prince', 'obtained', 'request']
Topic 61 : ['abbot', 'nice', 'sum', 'hath', 'afterward', 'mistake', 'earlier', 'heir', 'date', 'paw']
Topic 62 : ['relate', 'remote', 'bushes', 'dressing', 'furnished', 'monster', 'guilty', 'invited', 'reward', 'splendid']
Topic 63 : ['beating', 'enthusiasm', 'reputation', 'affections', 'guide', 'stage', 'stole', 'gods', 'louder', 'breathed']
Topic 64 : ['student', 'didn', 'lid', 'that', 'driver', 'yes', 'knot', 'heavily', 'goblins', 'naughty']
Topic 65 : ['haired', 'obscurity', 'guilty', 'monimia', 'degrees', 'frequent', 'remorse', 'heir', 'galley', 'trifling']
Topic 66 : ['poem', 'the', 'college', 'attachment', 'contained', 'older', 'principal', 'hearth', 'rare', 'misfortunes']
Topic 67 : ['pattern', 'purple', 'crying', 'coroner', 'clad', 'savage', 'cease', 'reputation', 'clearly', 'faintly']
Topic 68 : ['student', 'dwelling', 'enthusiasm', 'pointing', 'disappointment', 'rat', 'rope', 'marchioness', 'honourable', 'delicacy']
Topic 69 : ['wedding', 'hath', 'tent', 'ice', 'rope', 'minister', 'rat', 'energy', 'noon', 'bushes']
Topic 70 : ['earthly', 'fairy', 'dismal', 'lovers', 'gallery', 'didn', 'lightly', 'hide', 'burden', 'funeral']
Topic 71 : ['ocean', 'bones', 'hearth', 'funeral', 'beds', 'minister', 'fish', 'sexton', 'milk', 'beach']
Topic 72 : ['the', 'ice', 'mistake', 'afterward', 'serve', 'appeal', 'gates', 'chill', 'splendid', 'gift']
Topic 73 : ['the', 'mistake', 'dressing', 'understanding', 'housekeeper', 'angels', 'religion', 'chimney', 'hearth', 'relations']
In [36]:
dump(top_words_per_topic_LDA,'./analysis/top_words_per_topic_LDA.joblib')
Out[36]:
['./analysis/top_words_per_topic_LDA.joblib']

Preparing the results for further analysis¶

In [11]:
def get_document_topic_percentages(topic_document_matrix):
    
    num_docs = topic_document_matrix.shape[1]
    num_topics = topic_document_matrix.shape[0]
    data = []
    
    # Iterate over each document
    for doc_index in range(topic_document_matrix.shape[1]):
        # Get topic distribution for the document
        topic_distribution = topic_document_matrix[:, doc_index]
        
        data.append([round(percentage * 100, 2) for percentage in topic_distribution])

    column_names = [f"Topic {i+1}" for i in range(num_topics)]
    df = pd.DataFrame(data, columns=column_names)
    df.index.name = "Document ID"
    return df
In [12]:
topic_document_matrix_LDA = best_model_LDA["topic-document-matrix"]
topic_distribution_df_LDA = get_document_topic_percentages(topic_document_matrix_LDA)
topic_distribution_df_LDA.head(10)
Out[12]:
Topic 1 Topic 2 Topic 3 Topic 4 Topic 5 Topic 6 Topic 7 Topic 8 Topic 9 Topic 10 ... Topic 64 Topic 65 Topic 66 Topic 67 Topic 68 Topic 69 Topic 70 Topic 71 Topic 72 Topic 73
Document ID
0 0.03 0.03 0.03 0.03 0.03 0.03 0.03 0.03 0.03 0.03 ... 0.03 0.03 0.03 0.03 0.03 0.03 36.64 0.03 0.03 0.03
1 0.19 2.68 0.36 1.12 2.18 1.21 0.34 1.00 0.50 0.67 ... 0.31 1.17 0.00 0.00 0.35 0.89 2.27 0.24 0.00 0.85
2 0.25 0.49 0.91 1.05 7.00 1.43 0.54 1.57 1.35 2.61 ... 0.65 2.13 0.54 0.43 0.18 2.91 12.59 0.84 0.00 0.90
3 0.00 0.43 0.00 0.18 8.61 0.83 0.00 1.36 0.01 0.43 ... 0.23 0.37 0.00 0.00 0.00 0.23 0.22 0.11 0.00 0.00
4 0.21 0.01 0.01 2.16 11.04 4.61 3.06 0.33 3.96 1.46 ... 0.82 6.64 0.56 0.01 1.11 3.25 3.79 0.50 0.01 0.80
5 0.39 0.01 0.39 0.26 2.53 8.84 1.24 0.89 1.15 2.87 ... 0.11 8.06 0.59 0.13 0.00 0.25 1.97 1.10 0.08 0.00
6 0.00 0.71 0.87 0.68 10.97 4.35 0.34 0.82 3.14 1.12 ... 0.15 8.92 1.84 0.17 0.85 4.13 2.10 0.29 0.00 1.26
7 0.01 0.01 1.24 1.06 2.34 0.07 0.45 1.49 0.01 5.21 ... 0.01 1.88 2.63 0.01 0.01 1.35 11.11 0.12 0.40 0.01
8 0.07 0.45 1.86 2.02 16.63 2.75 1.95 0.93 1.02 0.58 ... 1.07 2.36 1.64 0.02 0.17 1.51 3.10 1.34 0.00 2.48
9 0.37 0.29 0.85 1.55 7.01 0.78 1.69 2.14 2.56 0.45 ... 0.41 1.16 1.68 0.00 0.95 0.61 1.45 0.83 0.39 0.00

10 rows × 73 columns

In [13]:
original_indexes = dataset_final._Dataset__original_indexes
topic_distribution_df_LDA['Original Document Index'] = original_indexes

The rows of the original document are sampled in a random order when passed into octis as a dataset in case the default split=True prameter is set. A choice whihc is necessary to allow for hold out date in the parameter optization. Thus the document order is scrambled. For the sake of retraining a model with optimal paramters on the full corpus, the parameter is set to False, the order of documents is maintained and can be easily rejoined. For safeties sake, we will join according to order of the indices function nonetheless.

In order to further enrich the data, we will add the sentiment to the dataframe using the defacto sentiment analysis standard VADER.

In [14]:
nltk.download('vader_lexicon')

def add_sentiment_scores(df, text_column):

    sia = SentimentIntensityAnalyzer()

    # Calculate sentiment scores
    df['sentiment'] = df[text_column].apply(lambda text: sia.polarity_scores(text)['compound'])

    return df

[nltk_data] Downloading package vader_lexicon to
[nltk_data]     /home/florian/nltk_data...
[nltk_data]   Package vader_lexicon is already up-to-date!
In [15]:
add_sentiment_scores(df_input, 'preprocessed_text')
Out[15]:
preprocessed_text reference sentiment
0 fragment adventure turned steed hoping cross d... Aikin_SirBertran_1 -0.9201
1 plague portion ensuing relating street manner ... Ainsworth_OldSaintPa_1 0.9773
2 whatsoever away terms included language charac... Ainsworth_Rookwood_1 0.9989
3 doll wangos leaving justice skill witches spea... Ainsworth_TheLancash_1 -0.9998
4 note text little work finished year intended i... Austen_Northanger_1 1.0000
... ... ... ...
217 friend worth letters intimacies acquaintances ... LeFanu_InaGlassDa_5 1.0000
218 happened carriage crowd leaving ball begged go... LeFanu_InaGlassDa_6 0.9998
219 distinct reached ears henceforward distinctly ... LeFanu_InaGlassDa_7 0.9999
220 laugh came wonder wise man hippogriffs dragons... LeFanu_InaGlassDa_8 1.0000
221 forehead consultation left precisely walked gr... LeFanu_InaGlassDa_9 -0.9736

222 rows × 3 columns

In [16]:
df_input['input_index'] = df_input.index
df_input['ref'] = df_input['reference'].apply(lambda x: x.rsplit('_', 1)[0])
df_merge = df_input.merge(df_ref, left_on='ref', right_on='reference', how='left')
df_merge['date'] = df_merge['date'].astype('Int64')
df_merge['birthdate'] = df_merge['birthdate'].astype('Int64')
df_merge.head()
Out[16]:
preprocessed_text_x reference_x sentiment input_index ref index reference_y title author date ... mode genre gender birthdate nationality role (central/peripheral/influence) text source preprocessed_text_y tokenized_text
0 fragment adventure turned steed hoping cross d... Aikin_SirBertran_1 -0.9201 0 Aikin_SirBertran 0 Aikin_SirBertran Sir Bertrand, A Fragment Aikin, John and Anna Laetitia 1773 ... Fragment Gothic NaN <NA> English Central SIR BERTRAND, A FRAGMENT:\n\nAFTER this advent... colors fragment adventure turned steed hoping cross d... ['fragment', 'adventure', 'turned', 'steed', '...
1 plague portion ensuing relating street manner ... Ainsworth_OldSaintPa_1 0.9773 1 Ainsworth_OldSaintPa 1 Ainsworth_OldSaintPa Old Saint Paul's: A Tale of the Plague and the... Ainsworth, William Harrison 1841 ... NaN NaN m 1805 English NaN OLD SAINT PAUL\'S\n\n _A TALE OF THE PLAGUE\n... pb-manual plague portion ensuing relating street manner ... ['plague', 'portion', 'ensuing', 'relating', '...
2 whatsoever away terms included language charac... Ainsworth_Rookwood_1 0.9989 2 Ainsworth_Rookwood 2 Ainsworth_Rookwood Rookwood Ainsworth, William Harrison 1834 ... Novel Gothic m 1805 English Central \nThe Project Gutenberg EBook of Rookwood, by ... colors whatsoever away terms included language charac... ['whatsoever', 'away', 'terms', 'included', 'l...
3 doll wangos leaving justice skill witches spea... Ainsworth_TheLancash_1 -0.9998 3 Ainsworth_TheLancash 3 Ainsworth_TheLancash The Lancashire Witches: A Romance of Pendle Fo... Ainsworth, William Harrison 1848 ... NaN NaN m 1805 English NaN Proofreading Team.\n\n\n\n\n\n\n[Illustration:... pb-manual doll wangos leaving justice skill witches spea... ['doll', 'wangos', 'leaving', 'justice', 'skil...
4 note text little work finished year intended i... Austen_Northanger_1 1.0000 4 Austen_Northanger 5 Austen_Northanger Northanger Abbey Austen, Jane 1817 ... NaN NaN f 1775 English NaN Northanger Abbey\n\n\nby Jane Austen\n\n(1803)... gutenberg note text little work finished year intended i... ['note', 'text', 'little', 'work', 'finished',...

5 rows × 21 columns

In [17]:
# merging of topic distribution with features
# reorganizing the order of columns and clean up
df_txt_features_LDA = df_merge.merge(topic_distribution_df_LDA, right_on='Original Document Index', left_on='input_index')
df_txt_features_LDA=df_txt_features_LDA.drop(['text', 'preprocessed_text_y','tokenized_text','preprocessed_text_x', 'index', 'ref', 'Original Document Index'], axis=1)
df_txt_features_LDA.rename(columns={'reference_x': 'reference','reference_y': 'text_key'}, inplace=True)
df_txt_features_LDA = df_txt_features_LDA[['input_index'] + [col for col in df_txt_features_LDA.columns if col != 'input_index']]
df_txt_features_LDA.rename(columns={'role (central/peripheral/influence)': 'role'}, inplace=True)
df_txt_features_LDA.head()
Out[17]:
input_index reference sentiment text_key title author date period mode genre ... Topic 64 Topic 65 Topic 66 Topic 67 Topic 68 Topic 69 Topic 70 Topic 71 Topic 72 Topic 73
0 0 Aikin_SirBertran_1 -0.9201 Aikin_SirBertran Sir Bertrand, A Fragment Aikin, John and Anna Laetitia 1773 Romantic Fragment Gothic ... 0.03 0.03 0.03 0.03 0.03 0.03 36.64 0.03 0.03 0.03
1 1 Ainsworth_OldSaintPa_1 0.9773 Ainsworth_OldSaintPa Old Saint Paul's: A Tale of the Plague and the... Ainsworth, William Harrison 1841 NaN NaN NaN ... 0.31 1.17 0.00 0.00 0.35 0.89 2.27 0.24 0.00 0.85
2 2 Ainsworth_Rookwood_1 0.9989 Ainsworth_Rookwood Rookwood Ainsworth, William Harrison 1834 NaN Novel Gothic ... 0.65 2.13 0.54 0.43 0.18 2.91 12.59 0.84 0.00 0.90
3 3 Ainsworth_TheLancash_1 -0.9998 Ainsworth_TheLancash The Lancashire Witches: A Romance of Pendle Fo... Ainsworth, William Harrison 1848 NaN NaN NaN ... 0.23 0.37 0.00 0.00 0.00 0.23 0.22 0.11 0.00 0.00
4 4 Austen_Northanger_1 1.0000 Austen_Northanger Northanger Abbey Austen, Jane 1817 NaN NaN NaN ... 0.82 6.64 0.56 0.01 1.11 3.25 3.79 0.50 0.01 0.80

5 rows × 88 columns

In [18]:
df_txt_features_LDA.to_csv('./analysis/df_txt_features_LDA.csv', index=False)

creating exportable model elements for use in pyLDAdavis in a alter step¶

In [19]:
topic_term_dists_LDA= best_model_LDA["topic-word-matrix"]
doc_topic_dists_LDA = best_model_LDA["topic-document-matrix"]
doc_topic_dists_LDA = doc_topic_dists_LDA.T
vocab = dataset_final.get_vocabulary()
doc_lengths = [len(doc) for doc in dataset_final.get_corpus()]
In [20]:
corpus = dataset_final.get_corpus()

# Initialize term frequency dictionary
term_frequency_dict = {term: 0 for term in vocab}

# Count the frequency of each term in the corpus
for document in corpus:
    for word in document:
        if word in term_frequency_dict:
            term_frequency_dict[word] += 1

# Convert term frequencies to a list in the order of the vocabulary
term_frequency= [term_frequency_dict[word] for word in vocab]

Export for the analysis

In [21]:
dump(topic_term_dists_LDA, './analysis/topic_term_dists_LDA.joblib')
dump(doc_topic_dists_LDA, './analysis/doc_topic_dists_LDA.joblib')
dump(vocab, './analysis/vocab.joblib')
dump(doc_lengths, './analysis/doc_lengths.joblib')
dump(term_frequency, './analysis/term_frequency.joblib')
Out[21]:
['./analysis/term_frequency.joblib']

CTM¶

In [49]:
# Initialize the CTM model with some default parameters
ctm_model = CTM(batch_size=128, num_epochs=30, inference_type='zeroshot', bert_model="bert-base-nli-mean-tokens")

# Define the hyperparameter space for CTM
parameter_space = {
    'num_topics': Integer(50, 100),
    'num_layers': Categorical([1, 2, 3]),
    'num_neurons': Categorical([100, 200, 300, 500, 750, 1000]),
    'learn_rate':Real(0.001, 0.1), 
    'optimizer': Categorical(['adam', 'sgd', 'msprop']),
    'dropout': Real(0.0, 0.9, prior='uniform')
}

# Define the evaluation metric
coherence_centroid = WECoherenceCentroid(topk=20, word2vec_path='./word2vec/word2vec_model.bin', binary=True)
DiversityCentroid = WordEmbeddingsInvertedRBOCentroid(topk=20, weight=0.9, normalize=True, word2vec_path='./word2vec/word2vec_model.bin', binary=True)

# Run the hyperparameter optimization
start = time.time()

optimizer = Optimizer()
optimizer_results_CTM = optimizer.optimize(model=ctm_model, dataset=dataset, metric=coherence_centroid, 
                        search_space=parameter_space, number_of_call=200, 
                        n_random_starts=5, surrogate_model='RF',
                        model_runs=3, save_models=True, topk=20,
                        extra_metrics=[DiversityCentroid], save_path='./octis/results/', plot_best_seen=True)

end = time.time()
duration = end - start

# Save the results
optimizer_results_CTM.save_to_csv("./octis/results/Opt_CTMresults.csv")

print('Optimizing model took: ' + str(round(duration)) + ' seconds.')

Current call:  0

Batches:   0%|          | 0/2 [00:00<?, ?it/s]
Batches:   0%|          | 0/1 [00:00<?, ?it/s]
Batches:   0%|          | 0/1 [00:00<?, ?it/s]
Current call:  1
Current call:  2
Current call:  3
Current call:  4
Current call:  5
Current call:  6
Current call:  7
Current call:  8
Current call:  9
Current call:  10
Current call:  11
Current call:  12
Current call:  13
Current call:  14
Current call:  15
Current call:  16
Current call:  17
Current call:  18
Current call:  19
Current call:  20
Current call:  21
Current call:  22
Current call:  23
Current call:  24
Current call:  25
Current call:  26
Current call:  27
Current call:  28
Current call:  29
Current call:  30
Current call:  31
Current call:  32
Current call:  33
Current call:  34
Current call:  35
Current call:  36
Current call:  37
Current call:  38
Current call:  39
Current call:  40
Current call:  41
Current call:  42
Current call:  43
Current call:  44
Current call:  45
Current call:  46
Current call:  47
Current call:  48
Current call:  49
Current call:  50
Current call:  51
Current call:  52
Current call:  53
Current call:  54
Current call:  55
Current call:  56
Current call:  57
Current call:  58
Current call:  59
Current call:  60
Current call:  61
Current call:  62
Current call:  63
Current call:  64
Current call:  65
Current call:  66
Current call:  67
Current call:  68
Current call:  69
Current call:  70
Current call:  71
Current call:  72
Current call:  73
Current call:  74
Current call:  75
Current call:  76
Current call:  77
Current call:  78
Current call:  79
Current call:  80
Current call:  81
Current call:  82
Current call:  83
Current call:  84
Current call:  85
Current call:  86
Current call:  87
Current call:  88
Current call:  89
Current call:  90
Current call:  91
Current call:  92
Current call:  93
Current call:  94
Current call:  95
Current call:  96
Current call:  97
Current call:  98
Current call:  99
Current call:  100
Current call:  101
Current call:  102
Current call:  103
Current call:  104
Current call:  105
Current call:  106
Current call:  107
Current call:  108
Current call:  109
Current call:  110
Current call:  111
Current call:  112
Current call:  113
Current call:  114
Current call:  115
Current call:  116
Current call:  117
Current call:  118
Current call:  119
Current call:  120
Current call:  121
Current call:  122
Current call:  123
Current call:  124
Current call:  125
Current call:  126
Current call:  127
Current call:  128
Current call:  129
Current call:  130
Current call:  131
Current call:  132
Current call:  133
Current call:  134
Current call:  135
Current call:  136
Current call:  137
Current call:  138
Current call:  139
Current call:  140
Current call:  141
Current call:  142
Current call:  143
Current call:  144
Current call:  145
Current call:  146
Current call:  147
Current call:  148
Current call:  149
Current call:  150
Current call:  151
Current call:  152
Current call:  153
Current call:  154
Current call:  155
Current call:  156
Current call:  157
Current call:  158
Current call:  159
Current call:  160
Current call:  161
Current call:  162
Current call:  163
Current call:  164
Current call:  165
Current call:  166
Current call:  167
Current call:  168
Current call:  169
Current call:  170
Current call:  171
Current call:  172
Current call:  173
Current call:  174
Current call:  175
Current call:  176
Current call:  177
Current call:  178
Current call:  179
Current call:  180
Current call:  181
Current call:  182
Current call:  183
Current call:  184
Current call:  185
Current call:  186
Current call:  187
Current call:  188
Current call:  189
Current call:  190
Current call:  191
Current call:  192
Current call:  193
Current call:  194
Current call:  195
Current call:  196
Current call:  197
Current call:  198
Current call:  199
Optimizing model took: 4692 seconds.
In [50]:
dump(optimizer_results_CTM, './octis/models/optimizer_results_CTM.joblib', compress=('lzma', 9))
Out[50]:
['./octis/models/optimizer_results_CTM.joblib']
In [45]:
optimizer_results_CTM = load('./octis/models/optimizer_results_CTM.joblib')
In [51]:
# the optimization process here is one of maximization, yet the provided function for plotting 
# assumes the oposite, so we shall invert the result.

values_to_plot_CTM = [-x for x in optimizer_results_CTM.info['f_val']]

plot_bayesian_optimization(values=values_to_plot_CTM, 
                          name_plot="CTM_Optimization_Convergence", 
                          log_scale=False, 
                          conv_max=True)

This optimization was less smooth and clear, additional runs could potentially still improve upon the model

In [52]:
#The image is just dumped into the working directory, we shall move it somewhere more fitting

shutil.move('./CTM_Optimization_Convergence.png', './octis/results/CTM_Optimization_Convergence.png')

Image(filename='./octis/results/CTM_Optimization_Convergence.png')
Out[52]:
No description has been provided for this image
In [46]:
# Plotting WECoherenceCentroid' and 'WordEmbeddingsInvertedRBOCentroid' our two metrics
coherence_scores_CTM = [max(run) for run in optimizer_results_CTM.info['dict_model_runs']['WECoherenceCentroid'].values()]
diversity_scores_CTM = [max(run) for run in optimizer_results_CTM.info['dict_model_runs']['0_WordEmbeddingsInvertedRBOCentroid'].values()]

# Create a figure with twin y-axis for the second metric
fig, ax1 = plt.subplots(figsize=(10, 6))

ax1.set_xlabel('Iteration')
ax1.set_ylabel('Coherence Score', color='tab:blue')
ax1.plot(coherence_scores_CTM, marker='o', color='tab:blue')
ax1.tick_params(axis='y', labelcolor='tab:blue')
ax1.set_ylim(0.18, 0.35)

ax2 = ax1.twinx() 
ax2.set_ylabel('Diversity Score', color='tab:red')  
ax2.plot(diversity_scores_CTM, marker='o', color='tab:red')
ax2.tick_params(axis='y', labelcolor='tab:red')
ax2.set_ylim(0.75, 0.78)

plt.title('Optimization Progress for Coherence and Diversity')
ax1.grid(True)

plt.show()
No description has been provided for this image
In [48]:
# Extract the best configurations based on coherence scores
coherence_scores_CTM = optimizer_results_CTM.info['dict_model_runs']['WECoherenceCentroid']
diversity_scores_CTM = optimizer_results_CTM.info['dict_model_runs']['0_WordEmbeddingsInvertedRBOCentroid']

# Extracting scores and hyperparameter configurations
combined_scores = []
for i, (coherence_run, diversity_run) in enumerate(zip(coherence_scores_CTM.values(), diversity_scores_CTM.values())):
    max_coherence = max(coherence_run)
    max_diversity = max(diversity_run)
    num_topics = optimizer_results_CTM.info['x_iters']['num_topics'][i]
    num_layers = optimizer_results_CTM.info['x_iters']['num_layers'][i]
    num_neurons = optimizer_results_CTM.info['x_iters']['num_neurons'][i]
    learn_rate = optimizer_results_CTM.info['x_iters']['learn_rate'][i]
    optimizer_param = optimizer_results_CTM.info['x_iters']['optimizer'][i]
    dropout = optimizer_results_CTM.info['x_iters']['dropout'][i]
   
    combined_scores.append((max_coherence, max_diversity, num_topics, num_layers, num_neurons, learn_rate, optimizer_param, dropout))

# Sort by coherence score first and take the top ten
top_ten_by_coherence = sorted(combined_scores, key=lambda x: x[0], reverse=True)[:10]

# Select the configuration with the highest diversity score from the top ten
best_overall_CTM = max(top_ten_by_coherence, key=lambda x: x[1])

# Print the best configuration
print("Best Coherence Score:", best_overall_CTM[0])
print("Corresponding Diversity Score:", best_overall_CTM[1])
print("Best Configuration: num_topics =", best_overall_CTM[2], ", num_layers =", best_overall_CTM[3], ", num_neurons =", best_overall_CTM[4], 
      ", learn_rate =", best_overall_CTM[5], ", optimizer =", best_overall_CTM[6], ", dropout =", best_overall_CTM[7])

Best Coherence Score: 0.25242652543794375
Corresponding Diversity Score: 0.7631295026862059
Best Configuration: num_topics = 52 , num_layers = 1 , num_neurons = 1000 , learn_rate = 0.026875343602901114 , optimizer = sgd , dropout = 0.336284177347719
In [50]:
best_num_topics = best_overall_CTM[2]
best_num_layers = best_overall_CTM[3]
best_num_neurons = best_overall_CTM[4]
best_learn_rate = best_overall_CTM[5]
best_optimizer = best_overall_CTM[6]
best_dropout = best_overall_CTM[7]

# Now we instantiate the CTM model with the best hyperparameters
best_model_CTM = CTM(num_topics=best_num_topics,
                     num_layers=best_num_layers,
                     num_neurons=best_num_neurons,
                     solver=best_optimizer,
                     dropout=best_dropout, 
                     batch_size=128,
                     use_partitions=False,
                     bert_path='./octis/models/'
                     #bert_path='.'
                     )

# Train the model with the dataset
best_model_CTM = best_model_CTM.train_model(dataset_final)
In [51]:
#dump(best_model_CTM, './octis/models/best_model_CTM.joblib', compress=('lzma', 9))
best_model_CTM = load('./octis/models/best_model_CTM.joblib')
In [52]:
top_words_per_topic_CTM = best_model_CTM['topics']

# Display the top words for each topic
for topic_id, words in enumerate(top_words_per_topic_CTM):
    print("Topic", topic_id + 1, ":", words)

Topic 1 : ['driver', 'prophet', 'fruit', 'pit', 'royal', 'hither', 'queen', 'revenge', 'interview', 'consequences']
Topic 2 : ['driver', 'barn', 'marquis', 'marchioness', 'landlady', 'burrow', 'camels', 'vicar', 'farmer', 'crows']
Topic 3 : ['er', 'major', 'thro', 'evils', 'base', 'feeble', 'splendid', 'horrors', 'goodness', 'victims']
Topic 4 : ['curate', 'card', 'murdered', 'ceiling', 'punch', 'cornet', 'harbor', 'mill', 'treasure', 'cock']
Topic 5 : ['beds', 'crypt', 'lid', 'candles', 'lodged', 'honours', 'hath', 'daddy', 'trenchers', 'untied']
Topic 6 : ['lovers', 'build', 'dismal', 'site', 'earthly', 'suites', 'portal', 'brows', 'millions', 'slab']
Topic 7 : ['honourable', 'valid', 'reserving', 'vicar', 'arbours', 'partisan', 'sum', 'fashionable', 'crape', 'terrace']
Topic 8 : ['valid', 'mill', 'wagon', 'showman', 'vicar', 'hay', 'pinched', 'cabinets', 'barn', 'honourable']
Topic 9 : ['swiftly', 'churchyard', 'onward', 'ing', 'dressing', 'nobleman', 'con', 'woke', 'deliberately', 'brightly']
Topic 10 : ['honourable', 'harbor', 'toll', 'political', 'terrace', 'fashionable', 'sexton', 'auks', 'dismal', 'gills']
Topic 11 : ['column', 'recollections', 'marquis', 'frivolous', 'marchioness', 'fetch', 'meditation', 'deity', 'morbid', 'disorder']
Topic 12 : ['prophet', 'guilt', 'recollections', 'disgrace', 'remorse', 'sworn', 'heavens', 'cistern', 'nephew', 'ties']
Topic 13 : ['paw', 'sergeant', 'major', 'talisman', 'mask', 'abbot', 'knock', 'pinched', 'suites', 'examined']
Topic 14 : ['royal', 'galley', 'camp', 'proclaimed', 'steeple', 'tent', 'military', 'throne', 'queen', 'seclusion']
Topic 15 : ['beach', 'surf', 'weed', 'wave', 'pebbles', 'seclusion', 'precipice', 'chasm', 'tread', 'jammo']
Topic 16 : ['snaky', 'snakes', 'locks', 'wallet', 'sisters', 'slippers', 'helmet', 'shield', 'winged', 'fisherman']
Topic 17 : ['prophet', 'sworn', 'kings', 'beating', 'kingdom', 'queen', 'captain', 'sire', 'ridiculous', 'cistern']
Topic 18 : ['sorr', 'cavern', 'sez', 'cigar', 'spectre', 'loike', 'heat', 'gas', 'afterward', 'luncheon']
Topic 19 : ['camels', 'burrow', 'crows', 'wagon', 'showman', 'camp', 'brahmin', 'ledger', 'mummy', 'merry']
Topic 20 : ['mummy', 'congregation', 'unhappiness', 'vicar', 'galley', 'basely', 'steeple', 'fishermen', 'churchyard', 'fourth']
Topic 21 : ['fruit', 'gods', 'prince', 'ass', 'devotee', 'deity', 'throne', 'royal', 'religious', 'apple']
Topic 22 : ['governess', 'cheaile', 'brandy', 'gallery', 'link', 'background', 'slender', 'epitaph', 'm', 'housekeeper']
Topic 23 : ['crypt', 'sex', 'daddy', 'reserving', 'knack', 'valid', 'baby', 'vault', 'she', 'ride']
Topic 24 : ['mummy', 'flag', 'gods', 'harbor', 'hast', 'queen', 'gallery', 'singer', 'fourth', 'nobleman']
Topic 25 : ['honourable', 'willows', 'tent', 'vicar', 'housekeeper', 'fashionable', 'convict', 'sentry', 'poop', 'closet']
Topic 26 : ['crows', 'burrow', 'camels', 'valid', 'gas', 'arbours', 'portal', 'wedding', 'sails', 'chest']
Topic 27 : ['gallery', 'curate', 'helmet', 'military', 'emperor', 'punch', 'card', 'trap', 'encampment', 'camp']
Topic 28 : ['christabel', 'er', 'shield', 'prayed', 'spake', 'valid', 'sire', 'hath', 'doth', 'dove']
Topic 29 : ['sensibility', 'regiment', 'prince', 'stole', 'gaiety', 'continue', 'elegance', 'colonel', 'poverty', 'fort']
Topic 30 : ['rickshaw', 'mistake', 'farmer', 'harbor', 'bungalow', 'bonnet', 'auks', 'ride', 'gills', 'etched']
Topic 31 : ['snakes', 'shield', 'snaky', 'helmet', 'winged', 'locks', 'sisters', 'wallet', 'slippers', 'galley']
Topic 32 : ['ernest', 'album', 'snapped', 'isn', 'fountain', 'sculptor', 'audience', 'doesn', 'studio', 'grandfather']
Topic 33 : ['luck', 'club', 'goblins', 'miner', 'fun', 'millionaire', 'stake', 'players', 'if', 'copies']
Topic 34 : ['painter', 'convict', 'sentry', 'poop', 'canvass', 'paintings', 'cuddy', 'turret', 'main', 'painting']
Topic 35 : ['onnur', 'pinched', 'vault', 'revenge', 'chaise', 'disorder', 'size', 'crape', 'yard', 'minster']
Topic 36 : ['hay', 'barn', 'vicar', 'harbor', 'knife', 'realised', 'rope', 'pine', 'vivid', 'auks']
Topic 37 : ['flag', 'paint', 'gas', 'cart', 'singer', 'riding', 'bangle', 'purple', 'outline', 'attacked']
Topic 38 : ['rickshaw', 'mistake', 'bungalow', 'fan', 'sailor', 'wrist', 'verandah', 'whir', 'unhappiness', 'bungalows']
Topic 39 : ['toll', 'sergeant', 'captain', 'pirates', 'ice', 'now', 'fort', 'fishermen', 'science', 'cave']
Topic 40 : ['bushes', 'onnur', 'tent', 'pit', 'chasm', 'afterward', 'onward', 'structure', 'gun', 'continually']
Topic 41 : ['canoe', 'landing', 'cypresses', 'bespeak', 'sexton', 'ice', 'hath', 'betrothal', 'echoed', 'upstairs']
Topic 42 : ['onnur', 'pinched', 'rickshaw', 'mistake', 'bungalow', 'ing', 'con', 'chaise', 'tent', 'rode']
Topic 43 : ['wrist', 'mummy', 'wagon', 'showman', 'pinched', 'claws', 'camp', 'instructions', 'examined', 'bangle']
Topic 44 : ['monster', 'labyrinth', 'bull', 'housekeeper', 'royal', 'throne', 'goblet', 'sandals', 'closet', 'nephews']
Topic 45 : ['camp', 'canoe', 'bag', 'vacuum', 'landing', 'pistol', 'keyhole', 'realised', 'fireplace', 'whisky']
Topic 46 : ['curate', 'suites', 'knack', 'murdered', 'untied', 'cheaile', 'brig', 'chisel', 'editor', 'punch']
Topic 47 : ['youthful', 'ages', 'nunnery', 'lid', 'governor', 'untied', 'eldest', 'sensibility', 'gaiety', 'lively']
Topic 48 : ['canoe', 'nunnery', 'landing', 'upstairs', 'mask', 'verandah', 'governor', 'onnur', 'indian', 'rushing']
Topic 49 : ['plague', 'grocer', 'apprentice', 'willows', 'gallant', 'rejoined', 'lane', 'tent', 'pestilence', 'verger']
Topic 50 : ['mummy', 'singer', 'ceiling', 'swelling', 'gods', 'harpsichord', 'phrase', 'queen', 'hast', 'organ']
Topic 51 : ['sculptor', 'chisel', 'epitaph', 'wagon', 'showman', 'beds', 'earthly', 'slabs', 'slab', 'pirates']
Topic 52 : ['mill', 'abbot', 'gallery', 'helmet', 'sailor', 'godly', 'vault', 'lid', 'transformation', 'regent']
In [53]:
dump(top_words_per_topic_CTM,'./analysis/top_words_per_topic_CTM.joblib')
Out[53]:
['./analysis/top_words_per_topic_CTM.joblib']
In [54]:
topic_document_matrix_CTM = best_model_CTM["topic-document-matrix"]
topic_distribution_df_CTM = get_document_topic_percentages(topic_document_matrix_CTM)
topic_distribution_df_CTM.head(10)
Out[54]:
Topic 1 Topic 2 Topic 3 Topic 4 Topic 5 Topic 6 Topic 7 Topic 8 Topic 9 Topic 10 ... Topic 43 Topic 44 Topic 45 Topic 46 Topic 47 Topic 48 Topic 49 Topic 50 Topic 51 Topic 52
Document ID
0 0.78 1.18 2.27 1.59 0.70 1.37 1.25 4.50 1.59 2.67 ... 0.91 0.98 1.23 1.98 1.69 1.30 3.03 1.07 1.60 6.30
1 2.97 1.33 1.90 3.48 1.10 1.64 1.85 1.76 2.84 8.41 ... 3.51 1.10 0.51 2.30 1.73 1.40 0.78 3.97 0.98 2.00
2 2.11 2.37 1.06 3.34 2.25 2.11 2.52 2.24 0.66 2.45 ... 6.01 1.54 1.61 3.70 1.07 2.12 1.32 2.10 1.49 0.65
3 0.58 0.92 1.63 0.73 0.29 0.67 0.41 1.69 0.83 0.74 ... 0.30 0.45 1.51 1.10 2.33 0.88 0.54 4.56 0.52 25.20
4 0.88 1.27 1.37 1.83 2.86 1.16 1.34 1.29 1.35 1.67 ... 4.09 1.60 0.87 1.67 1.99 2.46 1.02 1.32 1.94 1.39
5 1.27 0.82 1.26 1.07 3.70 2.22 1.25 1.02 4.40 1.79 ... 5.15 1.42 0.78 1.79 0.89 0.59 1.14 1.85 1.42 0.31
6 4.73 1.62 0.86 2.07 1.09 1.16 2.49 1.82 0.56 1.84 ... 1.02 0.79 1.59 2.73 1.97 3.17 1.93 0.46 1.35 2.75
7 3.19 2.26 1.36 2.19 4.39 1.96 1.61 3.26 1.40 2.34 ... 3.38 1.50 1.29 1.79 1.93 1.70 1.02 0.69 1.67 0.52
8 7.44 2.23 1.62 1.23 3.45 1.84 1.78 1.19 1.02 2.62 ... 1.44 1.26 0.94 2.21 1.05 2.93 1.32 1.01 1.83 1.17
9 2.79 2.82 1.06 3.18 2.21 1.62 2.52 1.06 2.07 1.50 ... 2.41 0.85 1.77 2.93 1.59 1.19 1.04 0.88 2.11 1.65

10 rows × 52 columns

In [55]:
original_indexes = dataset_final._Dataset__original_indexes
topic_distribution_df_CTM['Original Document Index'] = original_indexes
In [56]:
df_input['input_index'] = df_input.index
df_input['ref'] = df_input['reference'].apply(lambda x: x.rsplit('_', 1)[0])
df_merge = df_input.merge(df_ref, left_on='ref', right_on='reference', how='left')
df_merge['date'] = df_merge['date'].astype('Int64')
df_merge['birthdate'] = df_merge['birthdate'].astype('Int64')
df_merge.head()
Out[56]:
preprocessed_text_x reference_x sentiment input_index ref index reference_y title author date ... mode genre gender birthdate nationality role (central/peripheral/influence) text source preprocessed_text_y tokenized_text
0 fragment adventure turned steed hoping cross d... Aikin_SirBertran_1 -0.9201 0 Aikin_SirBertran 0 Aikin_SirBertran Sir Bertrand, A Fragment Aikin, John and Anna Laetitia 1773 ... Fragment Gothic NaN <NA> English Central SIR BERTRAND, A FRAGMENT:\n\nAFTER this advent... colors fragment adventure turned steed hoping cross d... ['fragment', 'adventure', 'turned', 'steed', '...
1 plague portion ensuing relating street manner ... Ainsworth_OldSaintPa_1 0.9773 1 Ainsworth_OldSaintPa 1 Ainsworth_OldSaintPa Old Saint Paul's: A Tale of the Plague and the... Ainsworth, William Harrison 1841 ... NaN NaN m 1805 English NaN OLD SAINT PAUL\'S\n\n _A TALE OF THE PLAGUE\n... pb-manual plague portion ensuing relating street manner ... ['plague', 'portion', 'ensuing', 'relating', '...
2 whatsoever away terms included language charac... Ainsworth_Rookwood_1 0.9989 2 Ainsworth_Rookwood 2 Ainsworth_Rookwood Rookwood Ainsworth, William Harrison 1834 ... Novel Gothic m 1805 English Central \nThe Project Gutenberg EBook of Rookwood, by ... colors whatsoever away terms included language charac... ['whatsoever', 'away', 'terms', 'included', 'l...
3 doll wangos leaving justice skill witches spea... Ainsworth_TheLancash_1 -0.9998 3 Ainsworth_TheLancash 3 Ainsworth_TheLancash The Lancashire Witches: A Romance of Pendle Fo... Ainsworth, William Harrison 1848 ... NaN NaN m 1805 English NaN Proofreading Team.\n\n\n\n\n\n\n[Illustration:... pb-manual doll wangos leaving justice skill witches spea... ['doll', 'wangos', 'leaving', 'justice', 'skil...
4 note text little work finished year intended i... Austen_Northanger_1 1.0000 4 Austen_Northanger 5 Austen_Northanger Northanger Abbey Austen, Jane 1817 ... NaN NaN f 1775 English NaN Northanger Abbey\n\n\nby Jane Austen\n\n(1803)... gutenberg note text little work finished year intended i... ['note', 'text', 'little', 'work', 'finished',...

5 rows × 21 columns

In [57]:
# merging of topic distribution with features
# reorganizing the order of columns and clean up
df_txt_features_CTM= df_merge.merge(topic_distribution_df_CTM, right_on='Original Document Index', left_on='input_index')
df_txt_features_CTM=df_txt_features_CTM.drop(['text', 'preprocessed_text_y','tokenized_text','preprocessed_text_x', 'index', 'ref', 'Original Document Index'], axis=1)
df_txt_features_CTM.rename(columns={'reference_x': 'reference','reference_y': 'text_key'}, inplace=True)
df_txt_features_CTM = df_txt_features_CTM[['input_index'] + [col for col in df_txt_features_CTM.columns if col != 'input_index']]
df_txt_features_CTM.rename(columns={'role (central/peripheral/influence)': 'role'}, inplace=True)
df_txt_features_CTM.head()
Out[57]:
input_index reference sentiment text_key title author date period mode genre ... Topic 43 Topic 44 Topic 45 Topic 46 Topic 47 Topic 48 Topic 49 Topic 50 Topic 51 Topic 52
0 0 Aikin_SirBertran_1 -0.9201 Aikin_SirBertran Sir Bertrand, A Fragment Aikin, John and Anna Laetitia 1773 Romantic Fragment Gothic ... 0.91 0.98 1.23 1.98 1.69 1.30 3.03 1.07 1.60 6.30
1 1 Ainsworth_OldSaintPa_1 0.9773 Ainsworth_OldSaintPa Old Saint Paul's: A Tale of the Plague and the... Ainsworth, William Harrison 1841 NaN NaN NaN ... 3.51 1.10 0.51 2.30 1.73 1.40 0.78 3.97 0.98 2.00
2 2 Ainsworth_Rookwood_1 0.9989 Ainsworth_Rookwood Rookwood Ainsworth, William Harrison 1834 NaN Novel Gothic ... 6.01 1.54 1.61 3.70 1.07 2.12 1.32 2.10 1.49 0.65
3 3 Ainsworth_TheLancash_1 -0.9998 Ainsworth_TheLancash The Lancashire Witches: A Romance of Pendle Fo... Ainsworth, William Harrison 1848 NaN NaN NaN ... 0.30 0.45 1.51 1.10 2.33 0.88 0.54 4.56 0.52 25.20
4 4 Austen_Northanger_1 1.0000 Austen_Northanger Northanger Abbey Austen, Jane 1817 NaN NaN NaN ... 4.09 1.60 0.87 1.67 1.99 2.46 1.02 1.32 1.94 1.39

5 rows × 67 columns

In [58]:
df_txt_features_CTM.to_csv('./analysis/df_txt_features_CTM.csv', index=False)
# df_txt_features_CTM=pd.read_csv('./analysis/df_txt_features_CTM.csv')

pyLDAvis exports

In [59]:
topic_term_dists_CTM= best_model_CTM["topic-word-matrix"]
doc_topic_dists_CTM = best_model_CTM["topic-document-matrix"]
doc_topic_dists_CTM = doc_topic_dists_CTM.T
In [60]:
dump(topic_term_dists_CTM, './analysis/topic_term_dists_CTM.joblib')
dump(doc_topic_dists_CTM, './analysis/doc_topic_dists_CTM.joblib')
Out[60]:
['./analysis/doc_topic_dists_CTM.joblib']

ETM¶

In [70]:
# Initialize the CTM model with some default parameters
etm_model = ETM(batch_size=128, num_epochs=30, embeddings_path='word2vec_model.bin')

# Define the hyperparameter space for CTM
parameter_space = {
    'num_topics': Integer(50, 100),
    'num_layers': Categorical([1, 2, 3]),
    'num_neurons': Categorical([100, 200, 300, 500, 750, 1000]),
    'learn_rate':Real(0.001, 0.1), 
    'activation': Categorical(['sigmoid', 'softplus', 'selu']),
    'optimizer': Categorical(['adam', 'sgd', 'msprop']),
    'dropout': Real(0.0, 0.9, prior='uniform')
}


# Define the evaluation metric
coherence_centroid = WECoherenceCentroid(topk=20, word2vec_path='./word2vec/word2vec_model.bin', binary=True)
DiversityCentroid = WordEmbeddingsInvertedRBOCentroid(topk=20, weight=0.9, normalize=True, word2vec_path='./word2vec/word2vec_model.bin', binary=True)

# Run the hyperparameter optimization
start = time.time()

optimizer = Optimizer()
optimizer_results_ETM = optimizer.optimize(model=etm_model, dataset=dataset, metric=coherence_centroid, 
                        search_space=parameter_space, number_of_call=200, 
                        n_random_starts=5, surrogate_model='RF',
                        model_runs=3, save_models=True, topk=20,
                        extra_metrics=[DiversityCentroid], save_path='./octis/results/', plot_best_seen=True)

end = time.time()
duration = end - start

# Save the results
optimizer_results_ETM.save_to_csv("./octis/results/Opt_ETMresults.csv")

print('Optimizing model took: ' + str(round(duration)) + ' seconds.')

Current call:  0
model: ETM(
  (t_drop): Dropout(p=0.4555880049221471, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=97, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=97, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=97, bias=True)
)
Defaulting to vanilla SGD
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 25.77 .. Rec_loss: 12265.32 .. NELBO: 12291.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 9.45 .. Rec_loss: 5448.24 .. NELBO: 5457.69
****************************************************************************************************
Validation loss decreased (inf --> 10915.387695).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 23.16 .. Rec_loss: 12265.32 .. NELBO: 12288.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.15 .. Rec_loss: 5448.24 .. NELBO: 5450.39
****************************************************************************************************
Validation loss decreased (10915.387695 --> 10900.763672).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 8.91 .. Rec_loss: 12265.32 .. NELBO: 12274.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.2 .. Rec_loss: 5448.23 .. NELBO: 5448.43
****************************************************************************************************
Validation loss decreased (10900.763672 --> 10896.867188).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 5.91 .. Rec_loss: 12265.32 .. NELBO: 12271.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.15 .. Rec_loss: 5448.23 .. NELBO: 5448.38
****************************************************************************************************
Validation loss decreased (10896.867188 --> 10896.766602).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 5.5 .. Rec_loss: 12265.34 .. NELBO: 12270.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 5448.23 .. NELBO: 5448.35
****************************************************************************************************
Validation loss decreased (10896.766602 --> 10896.697266).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 5.03 .. Rec_loss: 12265.3 .. NELBO: 12270.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5448.23 .. NELBO: 5448.32
****************************************************************************************************
Validation loss decreased (10896.697266 --> 10896.633789).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 4.79 .. Rec_loss: 12265.29 .. NELBO: 12270.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 5448.22 .. NELBO: 5448.32
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 4.32 .. Rec_loss: 12265.27 .. NELBO: 12269.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5448.22 .. NELBO: 5448.28
****************************************************************************************************
Validation loss decreased (10896.633789 --> 10896.561523).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 4.19 .. Rec_loss: 12265.29 .. NELBO: 12269.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5448.22 .. NELBO: 5448.28
****************************************************************************************************
Validation loss decreased (10896.561523 --> 10896.554688).  Saving model ...
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 3.92 .. Rec_loss: 12265.29 .. NELBO: 12269.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.21 .. NELBO: 5448.26
****************************************************************************************************
Validation loss decreased (10896.554688 --> 10896.520508).  Saving model ...
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 3.66 .. Rec_loss: 12265.26 .. NELBO: 12268.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.21 .. NELBO: 5448.25
****************************************************************************************************
Validation loss decreased (10896.520508 --> 10896.499023).  Saving model ...
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 3.52 .. Rec_loss: 12265.24 .. NELBO: 12268.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.21 .. NELBO: 5448.26
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 3.36 .. Rec_loss: 12265.25 .. NELBO: 12268.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.21 .. NELBO: 5448.24
****************************************************************************************************
Validation loss decreased (10896.499023 --> 10896.478516).  Saving model ...
****************************************************************************************************
Epoch----->14 .. LR: 0.005 .. KL_theta: 3.19 .. Rec_loss: 12265.24 .. NELBO: 12268.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.2 .. NELBO: 5448.23
****************************************************************************************************
Validation loss decreased (10896.478516 --> 10896.459961).  Saving model ...
****************************************************************************************************
Epoch----->15 .. LR: 0.005 .. KL_theta: 2.97 .. Rec_loss: 12265.2 .. NELBO: 12268.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.2 .. NELBO: 5448.22
****************************************************************************************************
Validation loss decreased (10896.459961 --> 10896.447266).  Saving model ...
****************************************************************************************************
Epoch----->16 .. LR: 0.005 .. KL_theta: 2.93 .. Rec_loss: 12265.2 .. NELBO: 12268.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.2 .. NELBO: 5448.22
****************************************************************************************************
Validation loss decreased (10896.447266 --> 10896.441406).  Saving model ...
****************************************************************************************************
Epoch----->17 .. LR: 0.005 .. KL_theta: 2.74 .. Rec_loss: 12265.18 .. NELBO: 12267.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.19 .. NELBO: 5448.21
****************************************************************************************************
Validation loss decreased (10896.441406 --> 10896.429688).  Saving model ...
****************************************************************************************************
Epoch----->18 .. LR: 0.005 .. KL_theta: 2.7 .. Rec_loss: 12265.2 .. NELBO: 12267.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.19 .. NELBO: 5448.21
****************************************************************************************************
Validation loss decreased (10896.429688 --> 10896.422852).  Saving model ...
****************************************************************************************************
Epoch----->19 .. LR: 0.005 .. KL_theta: 2.6 .. Rec_loss: 12265.23 .. NELBO: 12267.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.19 .. NELBO: 5448.21
****************************************************************************************************
Validation loss decreased (10896.422852 --> 10896.408203).  Saving model ...
****************************************************************************************************
Epoch----->20 .. LR: 0.005 .. KL_theta: 2.44 .. Rec_loss: 12265.16 .. NELBO: 12267.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.18 .. NELBO: 5448.2
****************************************************************************************************
Validation loss decreased (10896.408203 --> 10896.399414).  Saving model ...
****************************************************************************************************
Epoch----->21 .. LR: 0.005 .. KL_theta: 2.41 .. Rec_loss: 12265.19 .. NELBO: 12267.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.18 .. NELBO: 5448.19
****************************************************************************************************
Validation loss decreased (10896.399414 --> 10896.390625).  Saving model ...
****************************************************************************************************
Epoch----->22 .. LR: 0.005 .. KL_theta: 2.27 .. Rec_loss: 12265.18 .. NELBO: 12267.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.18 .. NELBO: 5448.19
****************************************************************************************************
Validation loss decreased (10896.390625 --> 10896.383789).  Saving model ...
****************************************************************************************************
Epoch----->23 .. LR: 0.005 .. KL_theta: 2.23 .. Rec_loss: 12265.16 .. NELBO: 12267.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.17 .. NELBO: 5448.18
****************************************************************************************************
Validation loss decreased (10896.383789 --> 10896.377930).  Saving model ...
****************************************************************************************************
Epoch----->24 .. LR: 0.005 .. KL_theta: 2.19 .. Rec_loss: 12265.15 .. NELBO: 12267.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.17 .. NELBO: 5448.18
****************************************************************************************************
Validation loss decreased (10896.377930 --> 10896.366211).  Saving model ...
****************************************************************************************************
Epoch----->25 .. LR: 0.005 .. KL_theta: 2.05 .. Rec_loss: 12265.12 .. NELBO: 12267.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.17 .. NELBO: 5448.18
****************************************************************************************************
Validation loss decreased (10896.366211 --> 10896.360352).  Saving model ...
****************************************************************************************************
Epoch----->26 .. LR: 0.005 .. KL_theta: 2.03 .. Rec_loss: 12265.11 .. NELBO: 12267.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.17 .. NELBO: 5448.18
****************************************************************************************************
Validation loss decreased (10896.360352 --> 10896.356445).  Saving model ...
****************************************************************************************************
Epoch----->27 .. LR: 0.005 .. KL_theta: 1.98 .. Rec_loss: 12265.11 .. NELBO: 12267.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.16 .. NELBO: 5448.17
****************************************************************************************************
Validation loss decreased (10896.356445 --> 10896.345703).  Saving model ...
****************************************************************************************************
Epoch----->28 .. LR: 0.005 .. KL_theta: 1.91 .. Rec_loss: 12265.09 .. NELBO: 12267.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.16 .. NELBO: 5448.17
****************************************************************************************************
Validation loss decreased (10896.345703 --> 10896.336914).  Saving model ...
****************************************************************************************************
Epoch----->29 .. LR: 0.005 .. KL_theta: 1.84 .. Rec_loss: 12265.06 .. NELBO: 12266.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.15 .. NELBO: 5448.16
****************************************************************************************************
Validation loss decreased (10896.336914 --> 10896.325195).  Saving model ...
****************************************************************************************************
Epoch----->30 .. LR: 0.005 .. KL_theta: 1.79 .. Rec_loss: 12265.1 .. NELBO: 12266.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.15 .. NELBO: 5448.16
****************************************************************************************************
Validation loss decreased (10896.325195 --> 10896.323242).  Saving model ...
model: ETM(
  (t_drop): Dropout(p=0.4555880049221471, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=97, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=97, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=97, bias=True)
)
Defaulting to vanilla SGD
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 27.31 .. Rec_loss: 12265.31 .. NELBO: 12292.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 10.33 .. Rec_loss: 5448.24 .. NELBO: 5458.57
****************************************************************************************************
Validation loss decreased (inf --> 10917.142578).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 24.1 .. Rec_loss: 12265.33 .. NELBO: 12289.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.86 .. Rec_loss: 5448.24 .. NELBO: 5450.1
****************************************************************************************************
Validation loss decreased (10917.142578 --> 10900.194336).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 8.13 .. Rec_loss: 12265.31 .. NELBO: 12273.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.18 .. Rec_loss: 5448.24 .. NELBO: 5448.42
****************************************************************************************************
Validation loss decreased (10900.194336 --> 10896.830078).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 5.73 .. Rec_loss: 12265.31 .. NELBO: 12271.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.15 .. Rec_loss: 5448.23 .. NELBO: 5448.38
****************************************************************************************************
Validation loss decreased (10896.830078 --> 10896.756836).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 5.33 .. Rec_loss: 12265.3 .. NELBO: 12270.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 5448.23 .. NELBO: 5448.37
****************************************************************************************************
Validation loss decreased (10896.756836 --> 10896.734375).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 4.91 .. Rec_loss: 12265.27 .. NELBO: 12270.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5448.23 .. NELBO: 5448.32
****************************************************************************************************
Validation loss decreased (10896.734375 --> 10896.641602).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 4.57 .. Rec_loss: 12265.28 .. NELBO: 12269.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5448.22 .. NELBO: 5448.31
****************************************************************************************************
Validation loss decreased (10896.641602 --> 10896.615234).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 4.33 .. Rec_loss: 12265.24 .. NELBO: 12269.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5448.22 .. NELBO: 5448.29
****************************************************************************************************
Validation loss decreased (10896.615234 --> 10896.582031).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 4.09 .. Rec_loss: 12265.23 .. NELBO: 12269.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5448.22 .. NELBO: 5448.28
****************************************************************************************************
Validation loss decreased (10896.582031 --> 10896.549805).  Saving model ...
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 3.86 .. Rec_loss: 12265.24 .. NELBO: 12269.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.21 .. NELBO: 5448.26
****************************************************************************************************
Validation loss decreased (10896.549805 --> 10896.523438).  Saving model ...
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 3.62 .. Rec_loss: 12265.23 .. NELBO: 12268.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.21 .. NELBO: 5448.25
****************************************************************************************************
Validation loss decreased (10896.523438 --> 10896.501953).  Saving model ...
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 3.39 .. Rec_loss: 12265.19 .. NELBO: 12268.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.21 .. NELBO: 5448.26
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 3.29 .. Rec_loss: 12265.24 .. NELBO: 12268.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.2 .. NELBO: 5448.23
****************************************************************************************************
Validation loss decreased (10896.501953 --> 10896.476562).  Saving model ...
****************************************************************************************************
Epoch----->14 .. LR: 0.005 .. KL_theta: 3.13 .. Rec_loss: 12265.21 .. NELBO: 12268.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.2 .. NELBO: 5448.23
****************************************************************************************************
Validation loss decreased (10896.476562 --> 10896.462891).  Saving model ...
****************************************************************************************************
Epoch----->15 .. LR: 0.005 .. KL_theta: 2.95 .. Rec_loss: 12265.21 .. NELBO: 12268.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.2 .. NELBO: 5448.23
****************************************************************************************************
Validation loss decreased (10896.462891 --> 10896.447266).  Saving model ...
****************************************************************************************************
Epoch----->16 .. LR: 0.005 .. KL_theta: 2.92 .. Rec_loss: 12265.19 .. NELBO: 12268.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.2 .. NELBO: 5448.23
****************************************************************************************************
Validation loss decreased (10896.447266 --> 10896.442383).  Saving model ...
****************************************************************************************************
Epoch----->17 .. LR: 0.005 .. KL_theta: 2.73 .. Rec_loss: 12265.19 .. NELBO: 12267.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.19 .. NELBO: 5448.21
****************************************************************************************************
Validation loss decreased (10896.442383 --> 10896.426758).  Saving model ...
****************************************************************************************************
Epoch----->18 .. LR: 0.005 .. KL_theta: 2.67 .. Rec_loss: 12265.21 .. NELBO: 12267.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.19 .. NELBO: 5448.21
****************************************************************************************************
Validation loss decreased (10896.426758 --> 10896.413086).  Saving model ...
****************************************************************************************************
Epoch----->19 .. LR: 0.005 .. KL_theta: 2.56 .. Rec_loss: 12265.15 .. NELBO: 12267.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.19 .. NELBO: 5448.21
****************************************************************************************************
Validation loss decreased (10896.413086 --> 10896.407227).  Saving model ...
****************************************************************************************************
Epoch----->20 .. LR: 0.005 .. KL_theta: 2.45 .. Rec_loss: 12265.15 .. NELBO: 12267.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.18 .. NELBO: 5448.2
****************************************************************************************************
Validation loss decreased (10896.407227 --> 10896.397461).  Saving model ...
****************************************************************************************************
Epoch----->21 .. LR: 0.005 .. KL_theta: 2.4 .. Rec_loss: 12265.13 .. NELBO: 12267.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.18 .. NELBO: 5448.19
****************************************************************************************************
Validation loss decreased (10896.397461 --> 10896.385742).  Saving model ...
****************************************************************************************************
Epoch----->22 .. LR: 0.005 .. KL_theta: 2.27 .. Rec_loss: 12265.14 .. NELBO: 12267.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.18 .. NELBO: 5448.2
****************************************************************************************************
Validation loss decreased (10896.385742 --> 10896.381836).  Saving model ...
****************************************************************************************************
Epoch----->23 .. LR: 0.005 .. KL_theta: 2.21 .. Rec_loss: 12265.13 .. NELBO: 12267.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.17 .. NELBO: 5448.19
****************************************************************************************************
Validation loss decreased (10896.381836 --> 10896.374023).  Saving model ...
****************************************************************************************************
Epoch----->24 .. LR: 0.005 .. KL_theta: 2.12 .. Rec_loss: 12265.11 .. NELBO: 12267.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.17 .. NELBO: 5448.18
****************************************************************************************************
Validation loss decreased (10896.374023 --> 10896.359375).  Saving model ...
****************************************************************************************************
Epoch----->25 .. LR: 0.005 .. KL_theta: 2.06 .. Rec_loss: 12265.11 .. NELBO: 12267.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.17 .. NELBO: 5448.18
****************************************************************************************************
Validation loss decreased (10896.359375 --> 10896.351562).  Saving model ...
****************************************************************************************************
Epoch----->26 .. LR: 0.005 .. KL_theta: 2.01 .. Rec_loss: 12265.1 .. NELBO: 12267.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.16 .. NELBO: 5448.17
****************************************************************************************************
Validation loss decreased (10896.351562 --> 10896.346680).  Saving model ...
****************************************************************************************************
Epoch----->27 .. LR: 0.005 .. KL_theta: 1.91 .. Rec_loss: 12265.09 .. NELBO: 12267.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.16 .. NELBO: 5448.17
****************************************************************************************************
Validation loss decreased (10896.346680 --> 10896.335938).  Saving model ...
****************************************************************************************************
Epoch----->28 .. LR: 0.005 .. KL_theta: 1.85 .. Rec_loss: 12265.08 .. NELBO: 12266.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.15 .. NELBO: 5448.16
****************************************************************************************************
Validation loss decreased (10896.335938 --> 10896.327148).  Saving model ...
****************************************************************************************************
Epoch----->29 .. LR: 0.005 .. KL_theta: 1.84 .. Rec_loss: 12265.06 .. NELBO: 12266.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.15 .. NELBO: 5448.16
****************************************************************************************************
Validation loss decreased (10896.327148 --> 10896.320312).  Saving model ...
****************************************************************************************************
Epoch----->30 .. LR: 0.005 .. KL_theta: 1.81 .. Rec_loss: 12265.04 .. NELBO: 12266.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.15 .. NELBO: 5448.16
****************************************************************************************************
Validation loss decreased (10896.320312 --> 10896.308594).  Saving model ...
model: ETM(
  (t_drop): Dropout(p=0.4555880049221471, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=97, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=97, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=97, bias=True)
)
Defaulting to vanilla SGD
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 26.87 .. Rec_loss: 12265.38 .. NELBO: 12292.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 9.42 .. Rec_loss: 5448.25 .. NELBO: 5457.67
****************************************************************************************************
Validation loss decreased (inf --> 10915.334961).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 23.27 .. Rec_loss: 12265.34 .. NELBO: 12288.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.02 .. Rec_loss: 5448.24 .. NELBO: 5450.26
****************************************************************************************************
Validation loss decreased (10915.334961 --> 10900.516602).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 8.37 .. Rec_loss: 12265.36 .. NELBO: 12273.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.23 .. Rec_loss: 5448.23 .. NELBO: 5448.46
****************************************************************************************************
Validation loss decreased (10900.516602 --> 10896.922852).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 5.94 .. Rec_loss: 12265.36 .. NELBO: 12271.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 5448.22 .. NELBO: 5448.36
****************************************************************************************************
Validation loss decreased (10896.922852 --> 10896.735352).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 5.37 .. Rec_loss: 12265.32 .. NELBO: 12270.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 5448.22 .. NELBO: 5448.36
****************************************************************************************************
Validation loss decreased (10896.735352 --> 10896.711914).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 5.05 .. Rec_loss: 12265.31 .. NELBO: 12270.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5448.22 .. NELBO: 5448.3
****************************************************************************************************
Validation loss decreased (10896.711914 --> 10896.597656).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 4.75 .. Rec_loss: 12265.31 .. NELBO: 12270.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5448.21 .. NELBO: 5448.29
****************************************************************************************************
Validation loss decreased (10896.597656 --> 10896.585938).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 4.4 .. Rec_loss: 12265.31 .. NELBO: 12269.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5448.21 .. NELBO: 5448.28
****************************************************************************************************
Validation loss decreased (10896.585938 --> 10896.557617).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 4.1 .. Rec_loss: 12265.33 .. NELBO: 12269.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.21 .. NELBO: 5448.26
****************************************************************************************************
Validation loss decreased (10896.557617 --> 10896.504883).  Saving model ...
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 3.98 .. Rec_loss: 12265.29 .. NELBO: 12269.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.21 .. NELBO: 5448.26
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 3.72 .. Rec_loss: 12265.28 .. NELBO: 12269.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.2 .. NELBO: 5448.25
****************************************************************************************************
Validation loss decreased (10896.504883 --> 10896.503906).  Saving model ...
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 3.47 .. Rec_loss: 12265.24 .. NELBO: 12268.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.2 .. NELBO: 5448.23
****************************************************************************************************
Validation loss decreased (10896.503906 --> 10896.460938).  Saving model ...
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 3.42 .. Rec_loss: 12265.27 .. NELBO: 12268.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.19 .. NELBO: 5448.22
****************************************************************************************************
Validation loss decreased (10896.460938 --> 10896.447266).  Saving model ...
****************************************************************************************************
Epoch----->14 .. LR: 0.005 .. KL_theta: 3.19 .. Rec_loss: 12265.25 .. NELBO: 12268.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.19 .. NELBO: 5448.22
****************************************************************************************************
Validation loss decreased (10896.447266 --> 10896.440430).  Saving model ...
****************************************************************************************************
Epoch----->15 .. LR: 0.005 .. KL_theta: 3.05 .. Rec_loss: 12265.24 .. NELBO: 12268.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.19 .. NELBO: 5448.22
****************************************************************************************************
Validation loss decreased (10896.440430 --> 10896.430664).  Saving model ...
****************************************************************************************************
Epoch----->16 .. LR: 0.005 .. KL_theta: 2.88 .. Rec_loss: 12265.23 .. NELBO: 12268.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.18 .. NELBO: 5448.21
****************************************************************************************************
Validation loss decreased (10896.430664 --> 10896.424805).  Saving model ...
****************************************************************************************************
Epoch----->17 .. LR: 0.005 .. KL_theta: 2.78 .. Rec_loss: 12265.22 .. NELBO: 12268.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.18 .. NELBO: 5448.2
****************************************************************************************************
Validation loss decreased (10896.424805 --> 10896.399414).  Saving model ...
****************************************************************************************************
Epoch----->18 .. LR: 0.005 .. KL_theta: 2.71 .. Rec_loss: 12265.2 .. NELBO: 12267.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.18 .. NELBO: 5448.2
****************************************************************************************************
Validation loss decreased (10896.399414 --> 10896.388672).  Saving model ...
****************************************************************************************************
Epoch----->19 .. LR: 0.005 .. KL_theta: 2.61 .. Rec_loss: 12265.22 .. NELBO: 12267.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.17 .. NELBO: 5448.19
****************************************************************************************************
Validation loss decreased (10896.388672 --> 10896.385742).  Saving model ...
****************************************************************************************************
Epoch----->20 .. LR: 0.005 .. KL_theta: 2.51 .. Rec_loss: 12265.2 .. NELBO: 12267.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.17 .. NELBO: 5448.19
****************************************************************************************************
Validation loss decreased (10896.385742 --> 10896.382812).  Saving model ...
****************************************************************************************************
Epoch----->21 .. LR: 0.005 .. KL_theta: 2.36 .. Rec_loss: 12265.18 .. NELBO: 12267.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.17 .. NELBO: 5448.18
****************************************************************************************************
Validation loss decreased (10896.382812 --> 10896.361328).  Saving model ...
****************************************************************************************************
Epoch----->22 .. LR: 0.005 .. KL_theta: 2.35 .. Rec_loss: 12265.14 .. NELBO: 12267.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.16 .. NELBO: 5448.18
****************************************************************************************************
Validation loss decreased (10896.361328 --> 10896.360352).  Saving model ...
****************************************************************************************************
Epoch----->23 .. LR: 0.005 .. KL_theta: 2.18 .. Rec_loss: 12265.14 .. NELBO: 12267.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.16 .. NELBO: 5448.17
****************************************************************************************************
Validation loss decreased (10896.360352 --> 10896.348633).  Saving model ...
****************************************************************************************************
Epoch----->24 .. LR: 0.005 .. KL_theta: 2.18 .. Rec_loss: 12265.14 .. NELBO: 12267.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.16 .. NELBO: 5448.17
****************************************************************************************************
Validation loss decreased (10896.348633 --> 10896.335938).  Saving model ...
****************************************************************************************************
Epoch----->25 .. LR: 0.005 .. KL_theta: 2.1 .. Rec_loss: 12265.17 .. NELBO: 12267.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.15 .. NELBO: 5448.16
****************************************************************************************************
Validation loss decreased (10896.335938 --> 10896.324219).  Saving model ...
****************************************************************************************************
Epoch----->26 .. LR: 0.005 .. KL_theta: 1.99 .. Rec_loss: 12265.13 .. NELBO: 12267.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.15 .. NELBO: 5448.16
****************************************************************************************************
Validation loss decreased (10896.324219 --> 10896.313477).  Saving model ...
****************************************************************************************************
Epoch----->27 .. LR: 0.005 .. KL_theta: 1.92 .. Rec_loss: 12265.12 .. NELBO: 12267.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.14 .. NELBO: 5448.15
****************************************************************************************************
Validation loss decreased (10896.313477 --> 10896.309570).  Saving model ...
****************************************************************************************************
Epoch----->28 .. LR: 0.005 .. KL_theta: 1.87 .. Rec_loss: 12265.13 .. NELBO: 12267.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.14 .. NELBO: 5448.15
****************************************************************************************************
Validation loss decreased (10896.309570 --> 10896.298828).  Saving model ...
****************************************************************************************************
Epoch----->29 .. LR: 0.005 .. KL_theta: 1.83 .. Rec_loss: 12265.09 .. NELBO: 12266.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.14 .. NELBO: 5448.15
****************************************************************************************************
Validation loss decreased (10896.298828 --> 10896.290039).  Saving model ...
****************************************************************************************************
Epoch----->30 .. LR: 0.005 .. KL_theta: 1.81 .. Rec_loss: 12265.09 .. NELBO: 12266.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.13 .. NELBO: 5448.14
****************************************************************************************************
Validation loss decreased (10896.290039 --> 10896.281250).  Saving model ...
Current call:  1
model: ETM(
  (t_drop): Dropout(p=0.8566522514169307, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=83, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=83, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=83, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 25.07 .. Rec_loss: 12264.02 .. NELBO: 12289.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.53 .. Rec_loss: 5443.64 .. NELBO: 5444.17
****************************************************************************************************
Validation loss decreased (inf --> 10888.331055).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.08 .. Rec_loss: 12245.27 .. NELBO: 12246.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5428.8 .. NELBO: 5428.82
****************************************************************************************************
Validation loss decreased (10888.331055 --> 10857.649414).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12197.03 .. NELBO: 12197.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5402.29 .. NELBO: 5402.3
****************************************************************************************************
Validation loss decreased (10857.649414 --> 10804.614258).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12117.12 .. NELBO: 12117.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5367.09 .. NELBO: 5367.1
****************************************************************************************************
Validation loss decreased (10804.614258 --> 10734.200195).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12013.07 .. NELBO: 12013.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5330.9 .. NELBO: 5330.92
****************************************************************************************************
Validation loss decreased (10734.200195 --> 10661.837891).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11905.36 .. NELBO: 11905.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5305.83 .. NELBO: 5305.85
****************************************************************************************************
Validation loss decreased (10661.837891 --> 10611.698242).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11822.05 .. NELBO: 11822.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5302.68 .. NELBO: 5302.7
****************************************************************************************************
Validation loss decreased (10611.698242 --> 10605.405273).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11783.47 .. NELBO: 11783.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5320.34 .. NELBO: 5320.37
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11785.43 .. NELBO: 11785.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5342.17 .. NELBO: 5342.2
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11795.98 .. NELBO: 11796.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5352.64 .. NELBO: 5352.67
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11793.03 .. NELBO: 11793.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5350.85 .. NELBO: 5350.88
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11779.19 .. NELBO: 11779.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5343.88 .. NELBO: 5343.9
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.8566522514169307, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=83, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=83, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=83, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 26.91 .. Rec_loss: 12264.06 .. NELBO: 12290.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.59 .. Rec_loss: 5443.83 .. NELBO: 5444.42
****************************************************************************************************
Validation loss decreased (inf --> 10888.828125).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.15 .. Rec_loss: 12246.14 .. NELBO: 12247.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5429.42 .. NELBO: 5429.44
****************************************************************************************************
Validation loss decreased (10888.828125 --> 10858.880859).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12199.22 .. NELBO: 12199.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5403.39 .. NELBO: 5403.4
****************************************************************************************************
Validation loss decreased (10858.880859 --> 10806.805664).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 12120.16 .. NELBO: 12120.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5368.37 .. NELBO: 5368.38
****************************************************************************************************
Validation loss decreased (10806.805664 --> 10736.764648).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12017.23 .. NELBO: 12017.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5331.92 .. NELBO: 5331.93
****************************************************************************************************
Validation loss decreased (10736.764648 --> 10663.876953).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11908.97 .. NELBO: 11909.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5306.17 .. NELBO: 5306.19
****************************************************************************************************
Validation loss decreased (10663.876953 --> 10612.375000).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11823.79 .. NELBO: 11823.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5302.33 .. NELBO: 5302.35
****************************************************************************************************
Validation loss decreased (10612.375000 --> 10604.705078).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11783.88 .. NELBO: 11783.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5319.82 .. NELBO: 5319.85
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11785.43 .. NELBO: 11785.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5342.08 .. NELBO: 5342.11
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11796.25 .. NELBO: 11796.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5352.95 .. NELBO: 5352.98
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11793.46 .. NELBO: 11793.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.26 .. NELBO: 5351.28
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11779.42 .. NELBO: 11779.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5344.2 .. NELBO: 5344.22
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.8566522514169307, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=83, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=83, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=83, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 25.05 .. Rec_loss: 12264.12 .. NELBO: 12289.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.51 .. Rec_loss: 5443.81 .. NELBO: 5444.32
****************************************************************************************************
Validation loss decreased (inf --> 10888.652344).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 0.99 .. Rec_loss: 12245.76 .. NELBO: 12246.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5428.96 .. NELBO: 5428.98
****************************************************************************************************
Validation loss decreased (10888.652344 --> 10857.956055).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12197.15 .. NELBO: 12197.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5402.31 .. NELBO: 5402.32
****************************************************************************************************
Validation loss decreased (10857.956055 --> 10804.645508).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12116.75 .. NELBO: 12116.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5366.83 .. NELBO: 5366.84
****************************************************************************************************
Validation loss decreased (10804.645508 --> 10733.683594).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12012.85 .. NELBO: 12012.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5330.43 .. NELBO: 5330.45
****************************************************************************************************
Validation loss decreased (10733.683594 --> 10660.890625).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11904.02 .. NELBO: 11904.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5305.46 .. NELBO: 5305.48
****************************************************************************************************
Validation loss decreased (10660.890625 --> 10610.955078).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11820.74 .. NELBO: 11820.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5302.86 .. NELBO: 5302.88
****************************************************************************************************
Validation loss decreased (10610.955078 --> 10605.763672).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11783.24 .. NELBO: 11783.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5321.11 .. NELBO: 5321.14
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11785.91 .. NELBO: 11785.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5343.07 .. NELBO: 5343.1
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11796.89 .. NELBO: 11796.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.14 .. NELBO: 5353.16
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11792.85 .. NELBO: 11792.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.95 .. NELBO: 5350.97
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11778.5 .. NELBO: 11778.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5343.83 .. NELBO: 5343.85
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  2
model: ETM(
  (t_drop): Dropout(p=0.23214308260042685, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=56, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=56, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=56, bias=True)
)
Defaulting to vanilla SGD
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12265.37 .. NELBO: 12265.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.22 .. NELBO: 5448.23
****************************************************************************************************
Validation loss decreased (inf --> 10896.470703).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12265.33 .. NELBO: 12265.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.22 .. NELBO: 5448.23
****************************************************************************************************
Validation loss decreased (10896.470703 --> 10896.457031).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12265.3 .. NELBO: 12265.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.21 .. NELBO: 5448.22
****************************************************************************************************
Validation loss decreased (10896.457031 --> 10896.444336).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12265.29 .. NELBO: 12265.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.2 .. NELBO: 5448.21
****************************************************************************************************
Validation loss decreased (10896.444336 --> 10896.431641).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12265.28 .. NELBO: 12265.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.2 .. NELBO: 5448.21
****************************************************************************************************
Validation loss decreased (10896.431641 --> 10896.420898).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12265.27 .. NELBO: 12265.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.19 .. NELBO: 5448.2
****************************************************************************************************
Validation loss decreased (10896.420898 --> 10896.407227).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12265.23 .. NELBO: 12265.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.19 .. NELBO: 5448.2
****************************************************************************************************
Validation loss decreased (10896.407227 --> 10896.392578).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 12265.25 .. NELBO: 12265.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.18 .. NELBO: 5448.19
****************************************************************************************************
Validation loss decreased (10896.392578 --> 10896.380859).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 12265.19 .. NELBO: 12265.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.17 .. NELBO: 5448.18
****************************************************************************************************
Validation loss decreased (10896.380859 --> 10896.368164).  Saving model ...
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 12265.17 .. NELBO: 12265.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.17 .. NELBO: 5448.18
****************************************************************************************************
Validation loss decreased (10896.368164 --> 10896.355469).  Saving model ...
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 12265.2 .. NELBO: 12265.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.16 .. NELBO: 5448.17
****************************************************************************************************
Validation loss decreased (10896.355469 --> 10896.343750).  Saving model ...
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 12265.21 .. NELBO: 12265.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.16 .. NELBO: 5448.17
****************************************************************************************************
Validation loss decreased (10896.343750 --> 10896.330078).  Saving model ...
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 12265.14 .. NELBO: 12265.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.15 .. NELBO: 5448.16
****************************************************************************************************
Validation loss decreased (10896.330078 --> 10896.317383).  Saving model ...
****************************************************************************************************
Epoch----->14 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 12265.12 .. NELBO: 12265.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.15 .. NELBO: 5448.16
****************************************************************************************************
Validation loss decreased (10896.317383 --> 10896.305664).  Saving model ...
****************************************************************************************************
Epoch----->15 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 12265.11 .. NELBO: 12265.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.14 .. NELBO: 5448.15
****************************************************************************************************
Validation loss decreased (10896.305664 --> 10896.291016).  Saving model ...
****************************************************************************************************
Epoch----->16 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 12265.1 .. NELBO: 12265.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.13 .. NELBO: 5448.14
****************************************************************************************************
Validation loss decreased (10896.291016 --> 10896.278320).  Saving model ...
****************************************************************************************************
Epoch----->17 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 12265.04 .. NELBO: 12265.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.13 .. NELBO: 5448.14
****************************************************************************************************
Validation loss decreased (10896.278320 --> 10896.265625).  Saving model ...
****************************************************************************************************
Epoch----->18 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 12265.04 .. NELBO: 12265.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.12 .. NELBO: 5448.13
****************************************************************************************************
Validation loss decreased (10896.265625 --> 10896.250977).  Saving model ...
****************************************************************************************************
Epoch----->19 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 12265.04 .. NELBO: 12265.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.11 .. NELBO: 5448.12
****************************************************************************************************
Validation loss decreased (10896.250977 --> 10896.237305).  Saving model ...
****************************************************************************************************
Epoch----->20 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 12265.0 .. NELBO: 12265.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.11 .. NELBO: 5448.12
****************************************************************************************************
Validation loss decreased (10896.237305 --> 10896.224609).  Saving model ...
****************************************************************************************************
Epoch----->21 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 12265.0 .. NELBO: 12265.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.1 .. NELBO: 5448.11
****************************************************************************************************
Validation loss decreased (10896.224609 --> 10896.210938).  Saving model ...
****************************************************************************************************
Epoch----->22 .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 12265.02 .. NELBO: 12265.03
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.09 .. NELBO: 5448.1
****************************************************************************************************
Validation loss decreased (10896.210938 --> 10896.197266).  Saving model ...
****************************************************************************************************
Epoch----->23 .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 12264.95 .. NELBO: 12264.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.09 .. NELBO: 5448.1
****************************************************************************************************
Validation loss decreased (10896.197266 --> 10896.181641).  Saving model ...
****************************************************************************************************
Epoch----->24 .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 12264.93 .. NELBO: 12264.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.08 .. NELBO: 5448.09
****************************************************************************************************
Validation loss decreased (10896.181641 --> 10896.166992).  Saving model ...
****************************************************************************************************
Epoch----->25 .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 12264.93 .. NELBO: 12264.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.07 .. NELBO: 5448.07
****************************************************************************************************
Validation loss decreased (10896.166992 --> 10896.153320).  Saving model ...
****************************************************************************************************
Epoch----->26 .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 12264.92 .. NELBO: 12264.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.06 .. NELBO: 5448.06
****************************************************************************************************
Validation loss decreased (10896.153320 --> 10896.139648).  Saving model ...
****************************************************************************************************
Epoch----->27 .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 12264.87 .. NELBO: 12264.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.06 .. NELBO: 5448.06
****************************************************************************************************
Validation loss decreased (10896.139648 --> 10896.122070).  Saving model ...
****************************************************************************************************
Epoch----->28 .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 12264.86 .. NELBO: 12264.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.05 .. NELBO: 5448.05
****************************************************************************************************
Validation loss decreased (10896.122070 --> 10896.107422).  Saving model ...
****************************************************************************************************
Epoch----->29 .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 12264.85 .. NELBO: 12264.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.04 .. NELBO: 5448.04
****************************************************************************************************
Validation loss decreased (10896.107422 --> 10896.091797).  Saving model ...
****************************************************************************************************
Epoch----->30 .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 12264.85 .. NELBO: 12264.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.03 .. NELBO: 5448.03
****************************************************************************************************
Validation loss decreased (10896.091797 --> 10896.076172).  Saving model ...
model: ETM(
  (t_drop): Dropout(p=0.23214308260042685, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=56, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=56, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=56, bias=True)
)
Defaulting to vanilla SGD
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12265.32 .. NELBO: 12265.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.23 .. NELBO: 5448.24
****************************************************************************************************
Validation loss decreased (inf --> 10896.484375).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12265.35 .. NELBO: 12265.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.22 .. NELBO: 5448.23
****************************************************************************************************
Validation loss decreased (10896.484375 --> 10896.471680).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12265.33 .. NELBO: 12265.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.22 .. NELBO: 5448.23
****************************************************************************************************
Validation loss decreased (10896.471680 --> 10896.458984).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12265.29 .. NELBO: 12265.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.21 .. NELBO: 5448.22
****************************************************************************************************
Validation loss decreased (10896.458984 --> 10896.449219).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12265.29 .. NELBO: 12265.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.21 .. NELBO: 5448.22
****************************************************************************************************
Validation loss decreased (10896.449219 --> 10896.437500).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12265.29 .. NELBO: 12265.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.2 .. NELBO: 5448.21
****************************************************************************************************
Validation loss decreased (10896.437500 --> 10896.423828).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12265.28 .. NELBO: 12265.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.2 .. NELBO: 5448.21
****************************************************************************************************
Validation loss decreased (10896.423828 --> 10896.413086).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 12265.24 .. NELBO: 12265.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.19 .. NELBO: 5448.2
****************************************************************************************************
Validation loss decreased (10896.413086 --> 10896.400391).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 12265.25 .. NELBO: 12265.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.19 .. NELBO: 5448.2
****************************************************************************************************
Validation loss decreased (10896.400391 --> 10896.388672).  Saving model ...
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 12265.2 .. NELBO: 12265.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.18 .. NELBO: 5448.19
****************************************************************************************************
Validation loss decreased (10896.388672 --> 10896.376953).  Saving model ...
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 12265.22 .. NELBO: 12265.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.17 .. NELBO: 5448.18
****************************************************************************************************
Validation loss decreased (10896.376953 --> 10896.366211).  Saving model ...
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 12265.18 .. NELBO: 12265.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.17 .. NELBO: 5448.18
****************************************************************************************************
Validation loss decreased (10896.366211 --> 10896.353516).  Saving model ...
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 12265.16 .. NELBO: 12265.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.16 .. NELBO: 5448.17
****************************************************************************************************
Validation loss decreased (10896.353516 --> 10896.340820).  Saving model ...
****************************************************************************************************
Epoch----->14 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 12265.15 .. NELBO: 12265.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.16 .. NELBO: 5448.17
****************************************************************************************************
Validation loss decreased (10896.340820 --> 10896.329102).  Saving model ...
****************************************************************************************************
Epoch----->15 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 12265.14 .. NELBO: 12265.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.15 .. NELBO: 5448.16
****************************************************************************************************
Validation loss decreased (10896.329102 --> 10896.318359).  Saving model ...
****************************************************************************************************
Epoch----->16 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 12265.12 .. NELBO: 12265.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.15 .. NELBO: 5448.16
****************************************************************************************************
Validation loss decreased (10896.318359 --> 10896.306641).  Saving model ...
****************************************************************************************************
Epoch----->17 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 12265.13 .. NELBO: 12265.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.14 .. NELBO: 5448.15
****************************************************************************************************
Validation loss decreased (10896.306641 --> 10896.292969).  Saving model ...
****************************************************************************************************
Epoch----->18 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 12265.11 .. NELBO: 12265.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.13 .. NELBO: 5448.14
****************************************************************************************************
Validation loss decreased (10896.292969 --> 10896.280273).  Saving model ...
****************************************************************************************************
Epoch----->19 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 12265.1 .. NELBO: 12265.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.13 .. NELBO: 5448.14
****************************************************************************************************
Validation loss decreased (10896.280273 --> 10896.267578).  Saving model ...
****************************************************************************************************
Epoch----->20 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 12265.08 .. NELBO: 12265.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.12 .. NELBO: 5448.13
****************************************************************************************************
Validation loss decreased (10896.267578 --> 10896.254883).  Saving model ...
****************************************************************************************************
Epoch----->21 .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 12265.07 .. NELBO: 12265.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.12 .. NELBO: 5448.13
****************************************************************************************************
Validation loss decreased (10896.254883 --> 10896.242188).  Saving model ...
****************************************************************************************************
Epoch----->22 .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 12265.04 .. NELBO: 12265.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.11 .. NELBO: 5448.12
****************************************************************************************************
Validation loss decreased (10896.242188 --> 10896.228516).  Saving model ...
****************************************************************************************************
Epoch----->23 .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 12265.03 .. NELBO: 12265.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.1 .. NELBO: 5448.11
****************************************************************************************************
Validation loss decreased (10896.228516 --> 10896.214844).  Saving model ...
****************************************************************************************************
Epoch----->24 .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 12264.99 .. NELBO: 12265.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.1 .. NELBO: 5448.1
****************************************************************************************************
Validation loss decreased (10896.214844 --> 10896.204102).  Saving model ...
****************************************************************************************************
Epoch----->25 .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 12265.0 .. NELBO: 12265.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.09 .. NELBO: 5448.09
****************************************************************************************************
Validation loss decreased (10896.204102 --> 10896.188477).  Saving model ...
****************************************************************************************************
Epoch----->26 .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 12264.95 .. NELBO: 12264.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.08 .. NELBO: 5448.08
****************************************************************************************************
Validation loss decreased (10896.188477 --> 10896.176758).  Saving model ...
****************************************************************************************************
Epoch----->27 .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 12264.95 .. NELBO: 12264.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.08 .. NELBO: 5448.08
****************************************************************************************************
Validation loss decreased (10896.176758 --> 10896.161133).  Saving model ...
****************************************************************************************************
Epoch----->28 .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 12264.92 .. NELBO: 12264.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.07 .. NELBO: 5448.07
****************************************************************************************************
Validation loss decreased (10896.161133 --> 10896.146484).  Saving model ...
****************************************************************************************************
Epoch----->29 .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 12264.89 .. NELBO: 12264.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.06 .. NELBO: 5448.06
****************************************************************************************************
Validation loss decreased (10896.146484 --> 10896.132812).  Saving model ...
****************************************************************************************************
Epoch----->30 .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 12264.92 .. NELBO: 12264.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.06 .. NELBO: 5448.06
****************************************************************************************************
Validation loss decreased (10896.132812 --> 10896.119141).  Saving model ...
model: ETM(
  (t_drop): Dropout(p=0.23214308260042685, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=56, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=56, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=56, bias=True)
)
Defaulting to vanilla SGD
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12265.39 .. NELBO: 12265.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.27 .. NELBO: 5448.29
****************************************************************************************************
Validation loss decreased (inf --> 10896.572266).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12265.4 .. NELBO: 12265.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.26 .. NELBO: 5448.28
****************************************************************************************************
Validation loss decreased (10896.572266 --> 10896.560547).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12265.36 .. NELBO: 12265.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.26 .. NELBO: 5448.28
****************************************************************************************************
Validation loss decreased (10896.560547 --> 10896.547852).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12265.35 .. NELBO: 12265.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.25 .. NELBO: 5448.27
****************************************************************************************************
Validation loss decreased (10896.547852 --> 10896.535156).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12265.32 .. NELBO: 12265.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.25 .. NELBO: 5448.26
****************************************************************************************************
Validation loss decreased (10896.535156 --> 10896.523438).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12265.32 .. NELBO: 12265.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.24 .. NELBO: 5448.25
****************************************************************************************************
Validation loss decreased (10896.523438 --> 10896.511719).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12265.33 .. NELBO: 12265.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.24 .. NELBO: 5448.25
****************************************************************************************************
Validation loss decreased (10896.511719 --> 10896.500000).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12265.31 .. NELBO: 12265.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.23 .. NELBO: 5448.24
****************************************************************************************************
Validation loss decreased (10896.500000 --> 10896.489258).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12265.29 .. NELBO: 12265.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.23 .. NELBO: 5448.24
****************************************************************************************************
Validation loss decreased (10896.489258 --> 10896.477539).  Saving model ...
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12265.24 .. NELBO: 12265.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.22 .. NELBO: 5448.23
****************************************************************************************************
Validation loss decreased (10896.477539 --> 10896.465820).  Saving model ...
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12265.25 .. NELBO: 12265.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.22 .. NELBO: 5448.23
****************************************************************************************************
Validation loss decreased (10896.465820 --> 10896.454102).  Saving model ...
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12265.26 .. NELBO: 12265.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.21 .. NELBO: 5448.22
****************************************************************************************************
Validation loss decreased (10896.454102 --> 10896.443359).  Saving model ...
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 12265.22 .. NELBO: 12265.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.21 .. NELBO: 5448.22
****************************************************************************************************
Validation loss decreased (10896.443359 --> 10896.431641).  Saving model ...
****************************************************************************************************
Epoch----->14 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 12265.22 .. NELBO: 12265.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.2 .. NELBO: 5448.21
****************************************************************************************************
Validation loss decreased (10896.431641 --> 10896.420898).  Saving model ...
****************************************************************************************************
Epoch----->15 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 12265.19 .. NELBO: 12265.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.2 .. NELBO: 5448.21
****************************************************************************************************
Validation loss decreased (10896.420898 --> 10896.409180).  Saving model ...
****************************************************************************************************
Epoch----->16 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 12265.19 .. NELBO: 12265.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.19 .. NELBO: 5448.2
****************************************************************************************************
Validation loss decreased (10896.409180 --> 10896.396484).  Saving model ...
****************************************************************************************************
Epoch----->17 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 12265.16 .. NELBO: 12265.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.18 .. NELBO: 5448.19
****************************************************************************************************
Validation loss decreased (10896.396484 --> 10896.385742).  Saving model ...
****************************************************************************************************
Epoch----->18 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 12265.12 .. NELBO: 12265.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.18 .. NELBO: 5448.19
****************************************************************************************************
Validation loss decreased (10896.385742 --> 10896.373047).  Saving model ...
****************************************************************************************************
Epoch----->19 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 12265.11 .. NELBO: 12265.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.17 .. NELBO: 5448.18
****************************************************************************************************
Validation loss decreased (10896.373047 --> 10896.362305).  Saving model ...
****************************************************************************************************
Epoch----->20 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 12265.1 .. NELBO: 12265.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.17 .. NELBO: 5448.18
****************************************************************************************************
Validation loss decreased (10896.362305 --> 10896.349609).  Saving model ...
****************************************************************************************************
Epoch----->21 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 12265.1 .. NELBO: 12265.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.16 .. NELBO: 5448.17
****************************************************************************************************
Validation loss decreased (10896.349609 --> 10896.337891).  Saving model ...
****************************************************************************************************
Epoch----->22 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 12265.05 .. NELBO: 12265.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.16 .. NELBO: 5448.17
****************************************************************************************************
Validation loss decreased (10896.337891 --> 10896.325195).  Saving model ...
****************************************************************************************************
Epoch----->23 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 12265.09 .. NELBO: 12265.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.15 .. NELBO: 5448.16
****************************************************************************************************
Validation loss decreased (10896.325195 --> 10896.313477).  Saving model ...
****************************************************************************************************
Epoch----->24 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 12265.06 .. NELBO: 12265.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.14 .. NELBO: 5448.15
****************************************************************************************************
Validation loss decreased (10896.313477 --> 10896.301758).  Saving model ...
****************************************************************************************************
Epoch----->25 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 12265.04 .. NELBO: 12265.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.14 .. NELBO: 5448.15
****************************************************************************************************
Validation loss decreased (10896.301758 --> 10896.287109).  Saving model ...
****************************************************************************************************
Epoch----->26 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 12265.02 .. NELBO: 12265.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.13 .. NELBO: 5448.14
****************************************************************************************************
Validation loss decreased (10896.287109 --> 10896.276367).  Saving model ...
****************************************************************************************************
Epoch----->27 .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 12265.03 .. NELBO: 12265.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.13 .. NELBO: 5448.14
****************************************************************************************************
Validation loss decreased (10896.276367 --> 10896.262695).  Saving model ...
****************************************************************************************************
Epoch----->28 .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 12264.97 .. NELBO: 12264.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.12 .. NELBO: 5448.13
****************************************************************************************************
Validation loss decreased (10896.262695 --> 10896.250977).  Saving model ...
****************************************************************************************************
Epoch----->29 .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 12264.99 .. NELBO: 12265.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.11 .. NELBO: 5448.12
****************************************************************************************************
Validation loss decreased (10896.250977 --> 10896.236328).  Saving model ...
****************************************************************************************************
Epoch----->30 .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 12264.95 .. NELBO: 12264.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.11 .. NELBO: 5448.11
****************************************************************************************************
Validation loss decreased (10896.236328 --> 10896.223633).  Saving model ...
Current call:  3
model: ETM(
  (t_drop): Dropout(p=0.5503350599444883, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=73, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=73, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=73, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 7.68 .. Rec_loss: 12265.34 .. NELBO: 12273.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 5448.23 .. NELBO: 5448.35
****************************************************************************************************
Validation loss decreased (inf --> 10896.682617).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 5.53 .. Rec_loss: 12265.34 .. NELBO: 12270.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 5448.22 .. NELBO: 5448.33
****************************************************************************************************
Validation loss decreased (10896.682617 --> 10896.669922).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 5.61 .. Rec_loss: 12265.31 .. NELBO: 12270.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 5448.22 .. NELBO: 5448.34
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 5.51 .. Rec_loss: 12265.32 .. NELBO: 12270.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 5448.21 .. NELBO: 5448.31
****************************************************************************************************
Validation loss decreased (10896.669922 --> 10896.619141).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 5.4 .. Rec_loss: 12265.28 .. NELBO: 12270.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 5448.21 .. NELBO: 5448.32
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 5.2 .. Rec_loss: 12265.27 .. NELBO: 12270.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 5448.21 .. NELBO: 5448.31
****************************************************************************************************
Validation loss decreased (10896.619141 --> 10896.605469).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 5.17 .. Rec_loss: 12265.31 .. NELBO: 12270.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5448.2 .. NELBO: 5448.27
****************************************************************************************************
Validation loss decreased (10896.605469 --> 10896.549805).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 5.06 .. Rec_loss: 12265.25 .. NELBO: 12270.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 5448.2 .. NELBO: 5448.3
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 4.94 .. Rec_loss: 12265.23 .. NELBO: 12270.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5448.19 .. NELBO: 5448.26
****************************************************************************************************
Validation loss decreased (10896.549805 --> 10896.532227).  Saving model ...
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 4.75 .. Rec_loss: 12265.24 .. NELBO: 12269.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5448.19 .. NELBO: 5448.26
****************************************************************************************************
Validation loss decreased (10896.532227 --> 10896.530273).  Saving model ...
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 4.68 .. Rec_loss: 12265.23 .. NELBO: 12269.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5448.19 .. NELBO: 5448.26
****************************************************************************************************
Validation loss decreased (10896.530273 --> 10896.501953).  Saving model ...
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 4.67 .. Rec_loss: 12265.19 .. NELBO: 12269.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5448.18 .. NELBO: 5448.24
****************************************************************************************************
Validation loss decreased (10896.501953 --> 10896.482422).  Saving model ...
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 4.57 .. Rec_loss: 12265.2 .. NELBO: 12269.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5448.18 .. NELBO: 5448.25
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->14 .. LR: 0.005 .. KL_theta: 4.55 .. Rec_loss: 12265.16 .. NELBO: 12269.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5448.17 .. NELBO: 5448.24
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->15 .. LR: 0.005 .. KL_theta: 4.35 .. Rec_loss: 12265.19 .. NELBO: 12269.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5448.17 .. NELBO: 5448.23
****************************************************************************************************
Validation loss decreased (10896.482422 --> 10896.449219).  Saving model ...
****************************************************************************************************
Epoch----->16 .. LR: 0.005 .. KL_theta: 4.42 .. Rec_loss: 12265.13 .. NELBO: 12269.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5448.16 .. NELBO: 5448.23
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->17 .. LR: 0.005 .. KL_theta: 4.34 .. Rec_loss: 12265.15 .. NELBO: 12269.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.16 .. NELBO: 5448.21
****************************************************************************************************
Validation loss decreased (10896.449219 --> 10896.427734).  Saving model ...
****************************************************************************************************
Epoch----->18 .. LR: 0.005 .. KL_theta: 4.19 .. Rec_loss: 12265.13 .. NELBO: 12269.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.16 .. NELBO: 5448.21
****************************************************************************************************
Validation loss decreased (10896.427734 --> 10896.424805).  Saving model ...
****************************************************************************************************
Epoch----->19 .. LR: 0.005 .. KL_theta: 4.1 .. Rec_loss: 12265.12 .. NELBO: 12269.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.15 .. NELBO: 5448.2
****************************************************************************************************
Validation loss decreased (10896.424805 --> 10896.398438).  Saving model ...
****************************************************************************************************
Epoch----->20 .. LR: 0.005 .. KL_theta: 4.02 .. Rec_loss: 12265.14 .. NELBO: 12269.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.15 .. NELBO: 5448.2
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->21 .. LR: 0.005 .. KL_theta: 4.05 .. Rec_loss: 12265.11 .. NELBO: 12269.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.14 .. NELBO: 5448.18
****************************************************************************************************
Validation loss decreased (10896.398438 --> 10896.374023).  Saving model ...
****************************************************************************************************
Epoch----->22 .. LR: 0.005 .. KL_theta: 3.88 .. Rec_loss: 12265.09 .. NELBO: 12268.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.14 .. NELBO: 5448.18
****************************************************************************************************
Validation loss decreased (10896.374023 --> 10896.363281).  Saving model ...
****************************************************************************************************
Epoch----->23 .. LR: 0.005 .. KL_theta: 3.88 .. Rec_loss: 12265.09 .. NELBO: 12268.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.14 .. NELBO: 5448.18
****************************************************************************************************
Validation loss decreased (10896.363281 --> 10896.352539).  Saving model ...
****************************************************************************************************
Epoch----->24 .. LR: 0.005 .. KL_theta: 3.75 .. Rec_loss: 12265.04 .. NELBO: 12268.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.13 .. NELBO: 5448.17
****************************************************************************************************
Validation loss decreased (10896.352539 --> 10896.348633).  Saving model ...
****************************************************************************************************
Epoch----->25 .. LR: 0.005 .. KL_theta: 3.78 .. Rec_loss: 12265.05 .. NELBO: 12268.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.13 .. NELBO: 5448.18
****************************************************************************************************
Validation loss decreased (10896.348633 --> 10896.348633).  Saving model ...
****************************************************************************************************
Epoch----->26 .. LR: 0.005 .. KL_theta: 3.68 .. Rec_loss: 12265.05 .. NELBO: 12268.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.12 .. NELBO: 5448.16
****************************************************************************************************
Validation loss decreased (10896.348633 --> 10896.321289).  Saving model ...
****************************************************************************************************
Epoch----->27 .. LR: 0.005 .. KL_theta: 3.59 .. Rec_loss: 12265.03 .. NELBO: 12268.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.12 .. NELBO: 5448.15
****************************************************************************************************
Validation loss decreased (10896.321289 --> 10896.291016).  Saving model ...
****************************************************************************************************
Epoch----->28 .. LR: 0.005 .. KL_theta: 3.54 .. Rec_loss: 12264.98 .. NELBO: 12268.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.11 .. NELBO: 5448.14
****************************************************************************************************
Validation loss decreased (10896.291016 --> 10896.281250).  Saving model ...
****************************************************************************************************
Epoch----->29 .. LR: 0.005 .. KL_theta: 3.54 .. Rec_loss: 12264.98 .. NELBO: 12268.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.11 .. NELBO: 5448.15
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->30 .. LR: 0.005 .. KL_theta: 3.44 .. Rec_loss: 12265.0 .. NELBO: 12268.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.1 .. NELBO: 5448.13
****************************************************************************************************
Validation loss decreased (10896.281250 --> 10896.265625).  Saving model ...
model: ETM(
  (t_drop): Dropout(p=0.5503350599444883, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=73, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=73, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=73, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 7.88 .. Rec_loss: 12265.37 .. NELBO: 12273.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.16 .. Rec_loss: 5448.24 .. NELBO: 5448.4
****************************************************************************************************
Validation loss decreased (inf --> 10896.797852).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 5.73 .. Rec_loss: 12265.35 .. NELBO: 12271.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 5448.24 .. NELBO: 5448.35
****************************************************************************************************
Validation loss decreased (10896.797852 --> 10896.694336).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 5.51 .. Rec_loss: 12265.33 .. NELBO: 12270.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 5448.23 .. NELBO: 5448.33
****************************************************************************************************
Validation loss decreased (10896.694336 --> 10896.667969).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 5.41 .. Rec_loss: 12265.31 .. NELBO: 12270.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5448.23 .. NELBO: 5448.32
****************************************************************************************************
Validation loss decreased (10896.667969 --> 10896.642578).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 5.41 .. Rec_loss: 12265.3 .. NELBO: 12270.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5448.22 .. NELBO: 5448.31
****************************************************************************************************
Validation loss decreased (10896.642578 --> 10896.623047).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 5.21 .. Rec_loss: 12265.28 .. NELBO: 12270.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5448.22 .. NELBO: 5448.31
****************************************************************************************************
Validation loss decreased (10896.623047 --> 10896.615234).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 4.98 .. Rec_loss: 12265.3 .. NELBO: 12270.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5448.21 .. NELBO: 5448.29
****************************************************************************************************
Validation loss decreased (10896.615234 --> 10896.585938).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 4.98 .. Rec_loss: 12265.28 .. NELBO: 12270.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5448.21 .. NELBO: 5448.29
****************************************************************************************************
Validation loss decreased (10896.585938 --> 10896.570312).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 4.88 .. Rec_loss: 12265.25 .. NELBO: 12270.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5448.21 .. NELBO: 5448.29
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 4.81 .. Rec_loss: 12265.26 .. NELBO: 12270.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5448.2 .. NELBO: 5448.28
****************************************************************************************************
Validation loss decreased (10896.570312 --> 10896.564453).  Saving model ...
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 4.59 .. Rec_loss: 12265.21 .. NELBO: 12269.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5448.2 .. NELBO: 5448.26
****************************************************************************************************
Validation loss decreased (10896.564453 --> 10896.519531).  Saving model ...
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 4.68 .. Rec_loss: 12265.26 .. NELBO: 12269.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5448.19 .. NELBO: 5448.25
****************************************************************************************************
Validation loss decreased (10896.519531 --> 10896.514648).  Saving model ...
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 4.6 .. Rec_loss: 12265.21 .. NELBO: 12269.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5448.19 .. NELBO: 5448.27
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->14 .. LR: 0.005 .. KL_theta: 4.51 .. Rec_loss: 12265.23 .. NELBO: 12269.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5448.18 .. NELBO: 5448.25
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->15 .. LR: 0.005 .. KL_theta: 4.3 .. Rec_loss: 12265.2 .. NELBO: 12269.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5448.18 .. NELBO: 5448.24
****************************************************************************************************
Validation loss decreased (10896.514648 --> 10896.485352).  Saving model ...
****************************************************************************************************
Epoch----->16 .. LR: 0.005 .. KL_theta: 4.24 .. Rec_loss: 12265.18 .. NELBO: 12269.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5448.18 .. NELBO: 5448.24
****************************************************************************************************
Validation loss decreased (10896.485352 --> 10896.464844).  Saving model ...
****************************************************************************************************
Epoch----->17 .. LR: 0.005 .. KL_theta: 4.23 .. Rec_loss: 12265.15 .. NELBO: 12269.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5448.17 .. NELBO: 5448.23
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->18 .. LR: 0.005 .. KL_theta: 4.13 .. Rec_loss: 12265.15 .. NELBO: 12269.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.17 .. NELBO: 5448.22
****************************************************************************************************
Validation loss decreased (10896.464844 --> 10896.426758).  Saving model ...
****************************************************************************************************
Epoch----->19 .. LR: 0.005 .. KL_theta: 4.01 .. Rec_loss: 12265.11 .. NELBO: 12269.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.16 .. NELBO: 5448.21
****************************************************************************************************
Validation loss decreased (10896.426758 --> 10896.423828).  Saving model ...
****************************************************************************************************
Epoch----->20 .. LR: 0.005 .. KL_theta: 3.95 .. Rec_loss: 12265.1 .. NELBO: 12269.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.16 .. NELBO: 5448.21
****************************************************************************************************
Validation loss decreased (10896.423828 --> 10896.416992).  Saving model ...
****************************************************************************************************
Epoch----->21 .. LR: 0.005 .. KL_theta: 3.88 .. Rec_loss: 12265.11 .. NELBO: 12268.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.15 .. NELBO: 5448.2
****************************************************************************************************
Validation loss decreased (10896.416992 --> 10896.399414).  Saving model ...
****************************************************************************************************
Epoch----->22 .. LR: 0.005 .. KL_theta: 3.91 .. Rec_loss: 12265.09 .. NELBO: 12269.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.15 .. NELBO: 5448.19
****************************************************************************************************
Validation loss decreased (10896.399414 --> 10896.371094).  Saving model ...
****************************************************************************************************
Epoch----->23 .. LR: 0.005 .. KL_theta: 3.83 .. Rec_loss: 12265.11 .. NELBO: 12268.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.14 .. NELBO: 5448.18
****************************************************************************************************
Validation loss decreased (10896.371094 --> 10896.364258).  Saving model ...
****************************************************************************************************
Epoch----->24 .. LR: 0.005 .. KL_theta: 3.77 .. Rec_loss: 12265.03 .. NELBO: 12268.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.14 .. NELBO: 5448.18
****************************************************************************************************
Validation loss decreased (10896.364258 --> 10896.362305).  Saving model ...
****************************************************************************************************
Epoch----->25 .. LR: 0.005 .. KL_theta: 3.67 .. Rec_loss: 12265.05 .. NELBO: 12268.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.13 .. NELBO: 5448.17
****************************************************************************************************
Validation loss decreased (10896.362305 --> 10896.340820).  Saving model ...
****************************************************************************************************
Epoch----->26 .. LR: 0.005 .. KL_theta: 3.62 .. Rec_loss: 12265.05 .. NELBO: 12268.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.13 .. NELBO: 5448.18
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->27 .. LR: 0.005 .. KL_theta: 3.51 .. Rec_loss: 12265.02 .. NELBO: 12268.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.12 .. NELBO: 5448.15
****************************************************************************************************
Validation loss decreased (10896.340820 --> 10896.313477).  Saving model ...
****************************************************************************************************
Epoch----->28 .. LR: 0.005 .. KL_theta: 3.52 .. Rec_loss: 12264.99 .. NELBO: 12268.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.12 .. NELBO: 5448.16
****************************************************************************************************
Validation loss decreased (10896.313477 --> 10896.307617).  Saving model ...
****************************************************************************************************
Epoch----->29 .. LR: 0.005 .. KL_theta: 3.48 .. Rec_loss: 12264.97 .. NELBO: 12268.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.11 .. NELBO: 5448.15
****************************************************************************************************
Validation loss decreased (10896.307617 --> 10896.297852).  Saving model ...
****************************************************************************************************
Epoch----->30 .. LR: 0.005 .. KL_theta: 3.3 .. Rec_loss: 12264.97 .. NELBO: 12268.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.11 .. NELBO: 5448.14
****************************************************************************************************
Validation loss decreased (10896.297852 --> 10896.279297).  Saving model ...
model: ETM(
  (t_drop): Dropout(p=0.5503350599444883, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=73, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=73, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=73, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 8.73 .. Rec_loss: 12265.32 .. NELBO: 12274.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.19 .. Rec_loss: 5448.22 .. NELBO: 5448.41
****************************************************************************************************
Validation loss decreased (inf --> 10896.828125).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 5.8 .. Rec_loss: 12265.25 .. NELBO: 12271.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 5448.22 .. NELBO: 5448.32
****************************************************************************************************
Validation loss decreased (10896.828125 --> 10896.641602).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 5.64 .. Rec_loss: 12265.27 .. NELBO: 12270.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 5448.21 .. NELBO: 5448.31
****************************************************************************************************
Validation loss decreased (10896.641602 --> 10896.627930).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 5.32 .. Rec_loss: 12265.28 .. NELBO: 12270.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5448.21 .. NELBO: 5448.3
****************************************************************************************************
Validation loss decreased (10896.627930 --> 10896.598633).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 5.22 .. Rec_loss: 12265.28 .. NELBO: 12270.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5448.21 .. NELBO: 5448.3
****************************************************************************************************
Validation loss decreased (10896.598633 --> 10896.596680).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 5.25 .. Rec_loss: 12265.25 .. NELBO: 12270.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5448.2 .. NELBO: 5448.29
****************************************************************************************************
Validation loss decreased (10896.596680 --> 10896.583008).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 5.0 .. Rec_loss: 12265.26 .. NELBO: 12270.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5448.2 .. NELBO: 5448.28
****************************************************************************************************
Validation loss decreased (10896.583008 --> 10896.564453).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 4.91 .. Rec_loss: 12265.21 .. NELBO: 12270.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5448.2 .. NELBO: 5448.29
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 5.0 .. Rec_loss: 12265.23 .. NELBO: 12270.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5448.19 .. NELBO: 5448.28
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 4.79 .. Rec_loss: 12265.22 .. NELBO: 12270.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5448.19 .. NELBO: 5448.26
****************************************************************************************************
Validation loss decreased (10896.564453 --> 10896.523438).  Saving model ...
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 4.68 .. Rec_loss: 12265.21 .. NELBO: 12269.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5448.18 .. NELBO: 5448.25
****************************************************************************************************
Validation loss decreased (10896.523438 --> 10896.509766).  Saving model ...
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 4.66 .. Rec_loss: 12265.15 .. NELBO: 12269.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5448.18 .. NELBO: 5448.25
****************************************************************************************************
Validation loss decreased (10896.509766 --> 10896.500000).  Saving model ...
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 4.53 .. Rec_loss: 12265.16 .. NELBO: 12269.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.18 .. NELBO: 5448.23
****************************************************************************************************
Validation loss decreased (10896.500000 --> 10896.461914).  Saving model ...
****************************************************************************************************
Epoch----->14 .. LR: 0.005 .. KL_theta: 4.37 .. Rec_loss: 12265.16 .. NELBO: 12269.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.17 .. NELBO: 5448.22
****************************************************************************************************
Validation loss decreased (10896.461914 --> 10896.452148).  Saving model ...
****************************************************************************************************
Epoch----->15 .. LR: 0.005 .. KL_theta: 4.37 .. Rec_loss: 12265.18 .. NELBO: 12269.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5448.17 .. NELBO: 5448.23
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->16 .. LR: 0.005 .. KL_theta: 4.36 .. Rec_loss: 12265.13 .. NELBO: 12269.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5448.17 .. NELBO: 5448.23
****************************************************************************************************
Validation loss decreased (10896.452148 --> 10896.446289).  Saving model ...
****************************************************************************************************
Epoch----->17 .. LR: 0.005 .. KL_theta: 4.23 .. Rec_loss: 12265.12 .. NELBO: 12269.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.16 .. NELBO: 5448.2
****************************************************************************************************
Validation loss decreased (10896.446289 --> 10896.404297).  Saving model ...
****************************************************************************************************
Epoch----->18 .. LR: 0.005 .. KL_theta: 4.16 .. Rec_loss: 12265.15 .. NELBO: 12269.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5448.16 .. NELBO: 5448.22
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->19 .. LR: 0.005 .. KL_theta: 4.14 .. Rec_loss: 12265.12 .. NELBO: 12269.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.15 .. NELBO: 5448.2
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->20 .. LR: 0.005 .. KL_theta: 4.12 .. Rec_loss: 12265.09 .. NELBO: 12269.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.15 .. NELBO: 5448.2
****************************************************************************************************
Validation loss decreased (10896.404297 --> 10896.389648).  Saving model ...
****************************************************************************************************
Epoch----->21 .. LR: 0.005 .. KL_theta: 3.93 .. Rec_loss: 12265.07 .. NELBO: 12269.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.14 .. NELBO: 5448.18
****************************************************************************************************
Validation loss decreased (10896.389648 --> 10896.373047).  Saving model ...
****************************************************************************************************
Epoch----->22 .. LR: 0.005 .. KL_theta: 3.94 .. Rec_loss: 12265.04 .. NELBO: 12268.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.14 .. NELBO: 5448.19
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->23 .. LR: 0.005 .. KL_theta: 3.74 .. Rec_loss: 12265.03 .. NELBO: 12268.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.14 .. NELBO: 5448.18
****************************************************************************************************
Validation loss decreased (10896.373047 --> 10896.356445).  Saving model ...
****************************************************************************************************
Epoch----->24 .. LR: 0.005 .. KL_theta: 3.74 .. Rec_loss: 12265.04 .. NELBO: 12268.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.13 .. NELBO: 5448.17
****************************************************************************************************
Validation loss decreased (10896.356445 --> 10896.332031).  Saving model ...
****************************************************************************************************
Epoch----->25 .. LR: 0.005 .. KL_theta: 3.68 .. Rec_loss: 12265.04 .. NELBO: 12268.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.13 .. NELBO: 5448.17
****************************************************************************************************
Validation loss decreased (10896.332031 --> 10896.331055).  Saving model ...
****************************************************************************************************
Epoch----->26 .. LR: 0.005 .. KL_theta: 3.68 .. Rec_loss: 12265.03 .. NELBO: 12268.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.12 .. NELBO: 5448.16
****************************************************************************************************
Validation loss decreased (10896.331055 --> 10896.327148).  Saving model ...
****************************************************************************************************
Epoch----->27 .. LR: 0.005 .. KL_theta: 3.53 .. Rec_loss: 12265.02 .. NELBO: 12268.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.12 .. NELBO: 5448.16
****************************************************************************************************
Validation loss decreased (10896.327148 --> 10896.320312).  Saving model ...
****************************************************************************************************
Epoch----->28 .. LR: 0.005 .. KL_theta: 3.55 .. Rec_loss: 12265.02 .. NELBO: 12268.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.11 .. NELBO: 5448.15
****************************************************************************************************
Validation loss decreased (10896.320312 --> 10896.300781).  Saving model ...
****************************************************************************************************
Epoch----->29 .. LR: 0.005 .. KL_theta: 3.45 .. Rec_loss: 12264.98 .. NELBO: 12268.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.11 .. NELBO: 5448.14
****************************************************************************************************
Validation loss decreased (10896.300781 --> 10896.279297).  Saving model ...
****************************************************************************************************
Epoch----->30 .. LR: 0.005 .. KL_theta: 3.49 .. Rec_loss: 12264.97 .. NELBO: 12268.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.1 .. NELBO: 5448.14
****************************************************************************************************
EarlyStopping counter: 1 out of 5
Current call:  4
model: ETM(
  (t_drop): Dropout(p=0.06765616884135095, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=61, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=61, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=61, bias=True)
)
Defaulting to vanilla SGD
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 8.8 .. Rec_loss: 12265.33 .. NELBO: 12274.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.2 .. Rec_loss: 5448.22 .. NELBO: 5454.42
****************************************************************************************************
Validation loss decreased (inf --> 10908.836914).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 14.06 .. Rec_loss: 12265.29 .. NELBO: 12279.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.25 .. Rec_loss: 5448.21 .. NELBO: 5454.46
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 10.46 .. Rec_loss: 12265.27 .. NELBO: 12275.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.71 .. Rec_loss: 5448.2 .. NELBO: 5449.91
****************************************************************************************************
Validation loss decreased (10908.836914 --> 10899.823242).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 2.74 .. Rec_loss: 12265.27 .. NELBO: 12268.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 5448.2 .. NELBO: 5448.42
****************************************************************************************************
Validation loss decreased (10899.823242 --> 10896.837891).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.67 .. Rec_loss: 12265.28 .. NELBO: 12265.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.19 .. NELBO: 5448.22
****************************************************************************************************
Validation loss decreased (10896.837891 --> 10896.445312).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 12265.24 .. NELBO: 12265.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.19 .. NELBO: 5448.21
****************************************************************************************************
Validation loss decreased (10896.445312 --> 10896.412109).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.41 .. Rec_loss: 12265.25 .. NELBO: 12265.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.18 .. NELBO: 5448.2
****************************************************************************************************
Validation loss decreased (10896.412109 --> 10896.400391).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.4 .. Rec_loss: 12265.24 .. NELBO: 12265.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.18 .. NELBO: 5448.2
****************************************************************************************************
Validation loss decreased (10896.400391 --> 10896.391602).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.41 .. Rec_loss: 12265.23 .. NELBO: 12265.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.17 .. NELBO: 5448.18
****************************************************************************************************
Validation loss decreased (10896.391602 --> 10896.372070).  Saving model ...
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.41 .. Rec_loss: 12265.22 .. NELBO: 12265.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.16 .. NELBO: 5448.18
****************************************************************************************************
Validation loss decreased (10896.372070 --> 10896.363281).  Saving model ...
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.4 .. Rec_loss: 12265.15 .. NELBO: 12265.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.16 .. NELBO: 5448.17
****************************************************************************************************
Validation loss decreased (10896.363281 --> 10896.351562).  Saving model ...
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.4 .. Rec_loss: 12265.15 .. NELBO: 12265.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.15 .. NELBO: 5448.17
****************************************************************************************************
Validation loss decreased (10896.351562 --> 10896.350586).  Saving model ...
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.41 .. Rec_loss: 12265.14 .. NELBO: 12265.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.15 .. NELBO: 5448.17
****************************************************************************************************
Validation loss decreased (10896.350586 --> 10896.336914).  Saving model ...
****************************************************************************************************
Epoch----->14 .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 12265.11 .. NELBO: 12265.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.14 .. NELBO: 5448.16
****************************************************************************************************
Validation loss decreased (10896.336914 --> 10896.324219).  Saving model ...
****************************************************************************************************
Epoch----->15 .. LR: 0.005 .. KL_theta: 0.4 .. Rec_loss: 12265.14 .. NELBO: 12265.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.14 .. NELBO: 5448.16
****************************************************************************************************
Validation loss decreased (10896.324219 --> 10896.307617).  Saving model ...
****************************************************************************************************
Epoch----->16 .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 12265.11 .. NELBO: 12265.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.13 .. NELBO: 5448.15
****************************************************************************************************
Validation loss decreased (10896.307617 --> 10896.294922).  Saving model ...
****************************************************************************************************
Epoch----->17 .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 12265.06 .. NELBO: 12265.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.13 .. NELBO: 5448.15
****************************************************************************************************
Validation loss decreased (10896.294922 --> 10896.286133).  Saving model ...
****************************************************************************************************
Epoch----->18 .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 12265.09 .. NELBO: 12265.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.12 .. NELBO: 5448.13
****************************************************************************************************
Validation loss decreased (10896.286133 --> 10896.263672).  Saving model ...
****************************************************************************************************
Epoch----->19 .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 12265.03 .. NELBO: 12265.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.11 .. NELBO: 5448.12
****************************************************************************************************
Validation loss decreased (10896.263672 --> 10896.256836).  Saving model ...
****************************************************************************************************
Epoch----->20 .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 12265.04 .. NELBO: 12265.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.11 .. NELBO: 5448.12
****************************************************************************************************
Validation loss decreased (10896.256836 --> 10896.241211).  Saving model ...
****************************************************************************************************
Epoch----->21 .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 12265.02 .. NELBO: 12265.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.1 .. NELBO: 5448.12
****************************************************************************************************
Validation loss decreased (10896.241211 --> 10896.234375).  Saving model ...
****************************************************************************************************
Epoch----->22 .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 12265.01 .. NELBO: 12265.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.1 .. NELBO: 5448.11
****************************************************************************************************
Validation loss decreased (10896.234375 --> 10896.220703).  Saving model ...
****************************************************************************************************
Epoch----->23 .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 12264.98 .. NELBO: 12265.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.09 .. NELBO: 5448.11
****************************************************************************************************
Validation loss decreased (10896.220703 --> 10896.212891).  Saving model ...
****************************************************************************************************
Epoch----->24 .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 12264.94 .. NELBO: 12265.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.08 .. NELBO: 5448.1
****************************************************************************************************
Validation loss decreased (10896.212891 --> 10896.196289).  Saving model ...
****************************************************************************************************
Epoch----->25 .. LR: 0.005 .. KL_theta: 0.37 .. Rec_loss: 12264.95 .. NELBO: 12265.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.08 .. NELBO: 5448.09
****************************************************************************************************
Validation loss decreased (10896.196289 --> 10896.173828).  Saving model ...
****************************************************************************************************
Epoch----->26 .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 12264.95 .. NELBO: 12265.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.07 .. NELBO: 5448.08
****************************************************************************************************
Validation loss decreased (10896.173828 --> 10896.165039).  Saving model ...
****************************************************************************************************
Epoch----->27 .. LR: 0.005 .. KL_theta: 0.36 .. Rec_loss: 12264.92 .. NELBO: 12265.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.06 .. NELBO: 5448.07
****************************************************************************************************
Validation loss decreased (10896.165039 --> 10896.148438).  Saving model ...
****************************************************************************************************
Epoch----->28 .. LR: 0.005 .. KL_theta: 0.36 .. Rec_loss: 12264.87 .. NELBO: 12265.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.05 .. NELBO: 5448.06
****************************************************************************************************
Validation loss decreased (10896.148438 --> 10896.129883).  Saving model ...
****************************************************************************************************
Epoch----->29 .. LR: 0.005 .. KL_theta: 0.35 .. Rec_loss: 12264.92 .. NELBO: 12265.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.05 .. NELBO: 5448.06
****************************************************************************************************
Validation loss decreased (10896.129883 --> 10896.123047).  Saving model ...
****************************************************************************************************
Epoch----->30 .. LR: 0.005 .. KL_theta: 0.37 .. Rec_loss: 12264.86 .. NELBO: 12265.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.04 .. NELBO: 5448.05
****************************************************************************************************
Validation loss decreased (10896.123047 --> 10896.104492).  Saving model ...
model: ETM(
  (t_drop): Dropout(p=0.06765616884135095, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=61, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=61, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=61, bias=True)
)
Defaulting to vanilla SGD
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 12.5 .. Rec_loss: 12265.32 .. NELBO: 12277.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 10.72 .. Rec_loss: 5448.22 .. NELBO: 5458.94
****************************************************************************************************
Validation loss decreased (inf --> 10917.879883).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 23.21 .. Rec_loss: 12265.32 .. NELBO: 12288.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.12 .. Rec_loss: 5448.2 .. NELBO: 5456.32
****************************************************************************************************
Validation loss decreased (10917.879883 --> 10912.655273).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 11.39 .. Rec_loss: 12265.32 .. NELBO: 12276.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.6 .. Rec_loss: 5448.19 .. NELBO: 5448.79
****************************************************************************************************
Validation loss decreased (10912.655273 --> 10897.572266).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 1.06 .. Rec_loss: 12265.24 .. NELBO: 12266.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.18 .. NELBO: 5448.21
****************************************************************************************************
Validation loss decreased (10897.572266 --> 10896.423828).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.4 .. Rec_loss: 12265.26 .. NELBO: 12265.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.18 .. NELBO: 5448.19
****************************************************************************************************
Validation loss decreased (10896.423828 --> 10896.381836).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 12265.25 .. NELBO: 12265.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.17 .. NELBO: 5448.18
****************************************************************************************************
Validation loss decreased (10896.381836 --> 10896.373047).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 12265.22 .. NELBO: 12265.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.17 .. NELBO: 5448.18
****************************************************************************************************
Validation loss decreased (10896.373047 --> 10896.364258).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 12265.22 .. NELBO: 12265.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.16 .. NELBO: 5448.18
****************************************************************************************************
Validation loss decreased (10896.364258 --> 10896.361328).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.37 .. Rec_loss: 12265.21 .. NELBO: 12265.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.16 .. NELBO: 5448.18
****************************************************************************************************
Validation loss decreased (10896.361328 --> 10896.348633).  Saving model ...
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.37 .. Rec_loss: 12265.18 .. NELBO: 12265.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.15 .. NELBO: 5448.16
****************************************************************************************************
Validation loss decreased (10896.348633 --> 10896.332031).  Saving model ...
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.36 .. Rec_loss: 12265.17 .. NELBO: 12265.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.15 .. NELBO: 5448.16
****************************************************************************************************
Validation loss decreased (10896.332031 --> 10896.320312).  Saving model ...
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.36 .. Rec_loss: 12265.15 .. NELBO: 12265.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.14 .. NELBO: 5448.15
****************************************************************************************************
Validation loss decreased (10896.320312 --> 10896.302734).  Saving model ...
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.34 .. Rec_loss: 12265.14 .. NELBO: 12265.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.14 .. NELBO: 5448.15
****************************************************************************************************
Validation loss decreased (10896.302734 --> 10896.290039).  Saving model ...
****************************************************************************************************
Epoch----->14 .. LR: 0.005 .. KL_theta: 0.35 .. Rec_loss: 12265.16 .. NELBO: 12265.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.13 .. NELBO: 5448.14
****************************************************************************************************
Validation loss decreased (10896.290039 --> 10896.284180).  Saving model ...
****************************************************************************************************
Epoch----->15 .. LR: 0.005 .. KL_theta: 0.35 .. Rec_loss: 12265.12 .. NELBO: 12265.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.13 .. NELBO: 5448.14
****************************************************************************************************
Validation loss decreased (10896.284180 --> 10896.275391).  Saving model ...
****************************************************************************************************
Epoch----->16 .. LR: 0.005 .. KL_theta: 0.36 .. Rec_loss: 12265.09 .. NELBO: 12265.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.12 .. NELBO: 5448.13
****************************************************************************************************
Validation loss decreased (10896.275391 --> 10896.271484).  Saving model ...
****************************************************************************************************
Epoch----->17 .. LR: 0.005 .. KL_theta: 0.35 .. Rec_loss: 12265.07 .. NELBO: 12265.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.12 .. NELBO: 5448.13
****************************************************************************************************
Validation loss decreased (10896.271484 --> 10896.251953).  Saving model ...
****************************************************************************************************
Epoch----->18 .. LR: 0.005 .. KL_theta: 0.36 .. Rec_loss: 12265.08 .. NELBO: 12265.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.11 .. NELBO: 5448.12
****************************************************************************************************
Validation loss decreased (10896.251953 --> 10896.240234).  Saving model ...
****************************************************************************************************
Epoch----->19 .. LR: 0.005 .. KL_theta: 0.35 .. Rec_loss: 12265.06 .. NELBO: 12265.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.1 .. NELBO: 5448.11
****************************************************************************************************
Validation loss decreased (10896.240234 --> 10896.237305).  Saving model ...
****************************************************************************************************
Epoch----->20 .. LR: 0.005 .. KL_theta: 0.36 .. Rec_loss: 12265.04 .. NELBO: 12265.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.1 .. NELBO: 5448.11
****************************************************************************************************
Validation loss decreased (10896.237305 --> 10896.218750).  Saving model ...
****************************************************************************************************
Epoch----->21 .. LR: 0.005 .. KL_theta: 0.35 .. Rec_loss: 12265.03 .. NELBO: 12265.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.09 .. NELBO: 5448.1
****************************************************************************************************
Validation loss decreased (10896.218750 --> 10896.205078).  Saving model ...
****************************************************************************************************
Epoch----->22 .. LR: 0.005 .. KL_theta: 0.35 .. Rec_loss: 12265.0 .. NELBO: 12265.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.09 .. NELBO: 5448.1
****************************************************************************************************
Validation loss decreased (10896.205078 --> 10896.191406).  Saving model ...
****************************************************************************************************
Epoch----->23 .. LR: 0.005 .. KL_theta: 0.35 .. Rec_loss: 12265.01 .. NELBO: 12265.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.08 .. NELBO: 5448.09
****************************************************************************************************
Validation loss decreased (10896.191406 --> 10896.183594).  Saving model ...
****************************************************************************************************
Epoch----->24 .. LR: 0.005 .. KL_theta: 0.35 .. Rec_loss: 12265.01 .. NELBO: 12265.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.07 .. NELBO: 5448.08
****************************************************************************************************
Validation loss decreased (10896.183594 --> 10896.162109).  Saving model ...
****************************************************************************************************
Epoch----->25 .. LR: 0.005 .. KL_theta: 0.33 .. Rec_loss: 12264.96 .. NELBO: 12265.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.07 .. NELBO: 5448.08
****************************************************************************************************
Validation loss decreased (10896.162109 --> 10896.158203).  Saving model ...
****************************************************************************************************
Epoch----->26 .. LR: 0.005 .. KL_theta: 0.34 .. Rec_loss: 12264.94 .. NELBO: 12265.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.06 .. NELBO: 5448.07
****************************************************************************************************
Validation loss decreased (10896.158203 --> 10896.142578).  Saving model ...
****************************************************************************************************
Epoch----->27 .. LR: 0.005 .. KL_theta: 0.35 .. Rec_loss: 12264.93 .. NELBO: 12265.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.06 .. NELBO: 5448.07
****************************************************************************************************
Validation loss decreased (10896.142578 --> 10896.130859).  Saving model ...
****************************************************************************************************
Epoch----->28 .. LR: 0.005 .. KL_theta: 0.34 .. Rec_loss: 12264.91 .. NELBO: 12265.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.05 .. NELBO: 5448.06
****************************************************************************************************
Validation loss decreased (10896.130859 --> 10896.117188).  Saving model ...
****************************************************************************************************
Epoch----->29 .. LR: 0.005 .. KL_theta: 0.33 .. Rec_loss: 12264.91 .. NELBO: 12265.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.04 .. NELBO: 5448.05
****************************************************************************************************
Validation loss decreased (10896.117188 --> 10896.109375).  Saving model ...
****************************************************************************************************
Epoch----->30 .. LR: 0.005 .. KL_theta: 0.35 .. Rec_loss: 12264.89 .. NELBO: 12265.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.04 .. NELBO: 5448.05
****************************************************************************************************
Validation loss decreased (10896.109375 --> 10896.086914).  Saving model ...
model: ETM(
  (t_drop): Dropout(p=0.06765616884135095, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=61, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=61, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=61, bias=True)
)
Defaulting to vanilla SGD
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 10.42 .. Rec_loss: 12265.32 .. NELBO: 12275.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.16 .. Rec_loss: 5448.2 .. NELBO: 5455.36
****************************************************************************************************
Validation loss decreased (inf --> 10910.708984).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 15.93 .. Rec_loss: 12265.36 .. NELBO: 12281.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.89 .. Rec_loss: 5448.2 .. NELBO: 5455.09
****************************************************************************************************
Validation loss decreased (10910.708984 --> 10910.164062).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 10.9 .. Rec_loss: 12265.32 .. NELBO: 12276.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.31 .. Rec_loss: 5448.19 .. NELBO: 5449.5
****************************************************************************************************
Validation loss decreased (10910.164062 --> 10899.008789).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 2.08 .. Rec_loss: 12265.29 .. NELBO: 12267.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 5448.18 .. NELBO: 5448.3
****************************************************************************************************
Validation loss decreased (10899.008789 --> 10896.606445).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.54 .. Rec_loss: 12265.27 .. NELBO: 12265.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.18 .. NELBO: 5448.2
****************************************************************************************************
Validation loss decreased (10896.606445 --> 10896.396484).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.42 .. Rec_loss: 12265.26 .. NELBO: 12265.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.17 .. NELBO: 5448.18
****************************************************************************************************
Validation loss decreased (10896.396484 --> 10896.374023).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.4 .. Rec_loss: 12265.27 .. NELBO: 12265.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.17 .. NELBO: 5448.19
****************************************************************************************************
Validation loss decreased (10896.374023 --> 10896.368164).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 12265.23 .. NELBO: 12265.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.16 .. NELBO: 5448.17
****************************************************************************************************
Validation loss decreased (10896.368164 --> 10896.352539).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 12265.2 .. NELBO: 12265.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.16 .. NELBO: 5448.17
****************************************************************************************************
Validation loss decreased (10896.352539 --> 10896.343750).  Saving model ...
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 12265.22 .. NELBO: 12265.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.15 .. NELBO: 5448.16
****************************************************************************************************
Validation loss decreased (10896.343750 --> 10896.339844).  Saving model ...
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 12265.18 .. NELBO: 12265.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.15 .. NELBO: 5448.17
****************************************************************************************************
Validation loss decreased (10896.339844 --> 10896.333008).  Saving model ...
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.4 .. Rec_loss: 12265.16 .. NELBO: 12265.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.15 .. NELBO: 5448.16
****************************************************************************************************
Validation loss decreased (10896.333008 --> 10896.321289).  Saving model ...
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.4 .. Rec_loss: 12265.16 .. NELBO: 12265.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.14 .. NELBO: 5448.16
****************************************************************************************************
Validation loss decreased (10896.321289 --> 10896.320312).  Saving model ...
****************************************************************************************************
Epoch----->14 .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 12265.15 .. NELBO: 12265.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.14 .. NELBO: 5448.15
****************************************************************************************************
Validation loss decreased (10896.320312 --> 10896.302734).  Saving model ...
****************************************************************************************************
Epoch----->15 .. LR: 0.005 .. KL_theta: 0.4 .. Rec_loss: 12265.15 .. NELBO: 12265.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.13 .. NELBO: 5448.14
****************************************************************************************************
Validation loss decreased (10896.302734 --> 10896.291992).  Saving model ...
****************************************************************************************************
Epoch----->16 .. LR: 0.005 .. KL_theta: 0.37 .. Rec_loss: 12265.12 .. NELBO: 12265.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.13 .. NELBO: 5448.14
****************************************************************************************************
Validation loss decreased (10896.291992 --> 10896.274414).  Saving model ...
****************************************************************************************************
Epoch----->17 .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 12265.11 .. NELBO: 12265.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.12 .. NELBO: 5448.13
****************************************************************************************************
Validation loss decreased (10896.274414 --> 10896.273438).  Saving model ...
****************************************************************************************************
Epoch----->18 .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 12265.07 .. NELBO: 12265.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.12 .. NELBO: 5448.13
****************************************************************************************************
Validation loss decreased (10896.273438 --> 10896.260742).  Saving model ...
****************************************************************************************************
Epoch----->19 .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 12265.08 .. NELBO: 12265.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.11 .. NELBO: 5448.12
****************************************************************************************************
Validation loss decreased (10896.260742 --> 10896.250000).  Saving model ...
****************************************************************************************************
Epoch----->20 .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 12265.05 .. NELBO: 12265.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.11 .. NELBO: 5448.13
****************************************************************************************************
Validation loss decreased (10896.250000 --> 10896.245117).  Saving model ...
****************************************************************************************************
Epoch----->21 .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 12265.03 .. NELBO: 12265.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.1 .. NELBO: 5448.11
****************************************************************************************************
Validation loss decreased (10896.245117 --> 10896.227539).  Saving model ...
****************************************************************************************************
Epoch----->22 .. LR: 0.005 .. KL_theta: 0.36 .. Rec_loss: 12265.01 .. NELBO: 12265.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.1 .. NELBO: 5448.11
****************************************************************************************************
Validation loss decreased (10896.227539 --> 10896.209961).  Saving model ...
****************************************************************************************************
Epoch----->23 .. LR: 0.005 .. KL_theta: 0.36 .. Rec_loss: 12265.02 .. NELBO: 12265.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.09 .. NELBO: 5448.1
****************************************************************************************************
Validation loss decreased (10896.209961 --> 10896.202148).  Saving model ...
****************************************************************************************************
Epoch----->24 .. LR: 0.005 .. KL_theta: 0.35 .. Rec_loss: 12264.99 .. NELBO: 12265.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.08 .. NELBO: 5448.09
****************************************************************************************************
Validation loss decreased (10896.202148 --> 10896.188477).  Saving model ...
****************************************************************************************************
Epoch----->25 .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 12265.0 .. NELBO: 12265.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.08 .. NELBO: 5448.1
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->26 .. LR: 0.005 .. KL_theta: 0.37 .. Rec_loss: 12264.99 .. NELBO: 12265.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.07 .. NELBO: 5448.08
****************************************************************************************************
Validation loss decreased (10896.188477 --> 10896.178711).  Saving model ...
****************************************************************************************************
Epoch----->27 .. LR: 0.005 .. KL_theta: 0.35 .. Rec_loss: 12264.97 .. NELBO: 12265.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.07 .. NELBO: 5448.08
****************************************************************************************************
Validation loss decreased (10896.178711 --> 10896.158203).  Saving model ...
****************************************************************************************************
Epoch----->28 .. LR: 0.005 .. KL_theta: 0.35 .. Rec_loss: 12264.91 .. NELBO: 12265.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.06 .. NELBO: 5448.07
****************************************************************************************************
Validation loss decreased (10896.158203 --> 10896.151367).  Saving model ...
****************************************************************************************************
Epoch----->29 .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 12264.9 .. NELBO: 12265.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.06 .. NELBO: 5448.08
****************************************************************************************************
Validation loss decreased (10896.151367 --> 10896.145508).  Saving model ...
****************************************************************************************************
Epoch----->30 .. LR: 0.005 .. KL_theta: 0.37 .. Rec_loss: 12264.9 .. NELBO: 12265.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.05 .. NELBO: 5448.06
****************************************************************************************************
Validation loss decreased (10896.145508 --> 10896.120117).  Saving model ...
Current call:  5
model: ETM(
  (t_drop): Dropout(p=0.3454648946388247, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=89, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=89, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=89, bias=True)
)
Defaulting to vanilla SGD
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 18.92 .. Rec_loss: 12265.34 .. NELBO: 12284.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.27 .. Rec_loss: 5448.24 .. NELBO: 5456.51
****************************************************************************************************
Validation loss decreased (inf --> 10913.021484).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 18.92 .. Rec_loss: 12265.37 .. NELBO: 12284.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.63 .. Rec_loss: 5448.24 .. NELBO: 5450.87
****************************************************************************************************
Validation loss decreased (10913.021484 --> 10901.738281).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 7.24 .. Rec_loss: 12265.33 .. NELBO: 12272.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.28 .. Rec_loss: 5448.24 .. NELBO: 5448.52
****************************************************************************************************
Validation loss decreased (10901.738281 --> 10897.045898).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 4.01 .. Rec_loss: 12265.33 .. NELBO: 12269.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 5448.24 .. NELBO: 5448.35
****************************************************************************************************
Validation loss decreased (10897.045898 --> 10896.689453).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 3.56 .. Rec_loss: 12265.32 .. NELBO: 12268.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 5448.23 .. NELBO: 5448.33
****************************************************************************************************
Validation loss decreased (10896.689453 --> 10896.671875).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 3.5 .. Rec_loss: 12265.32 .. NELBO: 12268.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5448.23 .. NELBO: 5448.32
****************************************************************************************************
Validation loss decreased (10896.671875 --> 10896.645508).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 3.35 .. Rec_loss: 12265.28 .. NELBO: 12268.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5448.23 .. NELBO: 5448.31
****************************************************************************************************
Validation loss decreased (10896.645508 --> 10896.608398).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 3.17 .. Rec_loss: 12265.27 .. NELBO: 12268.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5448.22 .. NELBO: 5448.29
****************************************************************************************************
Validation loss decreased (10896.608398 --> 10896.592773).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 2.98 .. Rec_loss: 12265.27 .. NELBO: 12268.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.22 .. NELBO: 5448.27
****************************************************************************************************
Validation loss decreased (10896.592773 --> 10896.542969).  Saving model ...
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 2.88 .. Rec_loss: 12265.29 .. NELBO: 12268.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.22 .. NELBO: 5448.27
****************************************************************************************************
Validation loss decreased (10896.542969 --> 10896.534180).  Saving model ...
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 2.77 .. Rec_loss: 12265.29 .. NELBO: 12268.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.21 .. NELBO: 5448.26
****************************************************************************************************
Validation loss decreased (10896.534180 --> 10896.529297).  Saving model ...
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 2.67 .. Rec_loss: 12265.27 .. NELBO: 12267.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.21 .. NELBO: 5448.26
****************************************************************************************************
Validation loss decreased (10896.529297 --> 10896.523438).  Saving model ...
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 2.64 .. Rec_loss: 12265.24 .. NELBO: 12267.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.21 .. NELBO: 5448.26
****************************************************************************************************
Validation loss decreased (10896.523438 --> 10896.516602).  Saving model ...
****************************************************************************************************
Epoch----->14 .. LR: 0.005 .. KL_theta: 2.4 .. Rec_loss: 12265.25 .. NELBO: 12267.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.2 .. NELBO: 5448.23
****************************************************************************************************
Validation loss decreased (10896.516602 --> 10896.468750).  Saving model ...
****************************************************************************************************
Epoch----->15 .. LR: 0.005 .. KL_theta: 2.35 .. Rec_loss: 12265.22 .. NELBO: 12267.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.2 .. NELBO: 5448.24
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->16 .. LR: 0.005 .. KL_theta: 2.33 .. Rec_loss: 12265.23 .. NELBO: 12267.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.2 .. NELBO: 5448.23
****************************************************************************************************
Validation loss decreased (10896.468750 --> 10896.455078).  Saving model ...
****************************************************************************************************
Epoch----->17 .. LR: 0.005 .. KL_theta: 2.25 .. Rec_loss: 12265.19 .. NELBO: 12267.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.19 .. NELBO: 5448.21
****************************************************************************************************
Validation loss decreased (10896.455078 --> 10896.431641).  Saving model ...
****************************************************************************************************
Epoch----->18 .. LR: 0.005 .. KL_theta: 2.16 .. Rec_loss: 12265.17 .. NELBO: 12267.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.19 .. NELBO: 5448.21
****************************************************************************************************
Validation loss decreased (10896.431641 --> 10896.427734).  Saving model ...
****************************************************************************************************
Epoch----->19 .. LR: 0.005 .. KL_theta: 2.05 .. Rec_loss: 12265.24 .. NELBO: 12267.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.19 .. NELBO: 5448.22
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->20 .. LR: 0.005 .. KL_theta: 2.05 .. Rec_loss: 12265.2 .. NELBO: 12267.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.18 .. NELBO: 5448.2
****************************************************************************************************
Validation loss decreased (10896.427734 --> 10896.416016).  Saving model ...
****************************************************************************************************
Epoch----->21 .. LR: 0.005 .. KL_theta: 1.97 .. Rec_loss: 12265.18 .. NELBO: 12267.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.18 .. NELBO: 5448.2
****************************************************************************************************
Validation loss decreased (10896.416016 --> 10896.406250).  Saving model ...
****************************************************************************************************
Epoch----->22 .. LR: 0.005 .. KL_theta: 1.89 .. Rec_loss: 12265.16 .. NELBO: 12267.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.18 .. NELBO: 5448.2
****************************************************************************************************
Validation loss decreased (10896.406250 --> 10896.398438).  Saving model ...
****************************************************************************************************
Epoch----->23 .. LR: 0.005 .. KL_theta: 1.81 .. Rec_loss: 12265.15 .. NELBO: 12266.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.18 .. NELBO: 5448.2
****************************************************************************************************
Validation loss decreased (10896.398438 --> 10896.383789).  Saving model ...
****************************************************************************************************
Epoch----->24 .. LR: 0.005 .. KL_theta: 1.8 .. Rec_loss: 12265.11 .. NELBO: 12266.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.17 .. NELBO: 5448.19
****************************************************************************************************
Validation loss decreased (10896.383789 --> 10896.375000).  Saving model ...
****************************************************************************************************
Epoch----->25 .. LR: 0.005 .. KL_theta: 1.78 .. Rec_loss: 12265.14 .. NELBO: 12266.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.17 .. NELBO: 5448.18
****************************************************************************************************
Validation loss decreased (10896.375000 --> 10896.363281).  Saving model ...
****************************************************************************************************
Epoch----->26 .. LR: 0.005 .. KL_theta: 1.72 .. Rec_loss: 12265.13 .. NELBO: 12266.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.17 .. NELBO: 5448.19
****************************************************************************************************
Validation loss decreased (10896.363281 --> 10896.360352).  Saving model ...
****************************************************************************************************
Epoch----->27 .. LR: 0.005 .. KL_theta: 1.63 .. Rec_loss: 12265.12 .. NELBO: 12266.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.16 .. NELBO: 5448.17
****************************************************************************************************
Validation loss decreased (10896.360352 --> 10896.348633).  Saving model ...
****************************************************************************************************
Epoch----->28 .. LR: 0.005 .. KL_theta: 1.62 .. Rec_loss: 12265.1 .. NELBO: 12266.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.16 .. NELBO: 5448.17
****************************************************************************************************
Validation loss decreased (10896.348633 --> 10896.337891).  Saving model ...
****************************************************************************************************
Epoch----->29 .. LR: 0.005 .. KL_theta: 1.56 .. Rec_loss: 12265.09 .. NELBO: 12266.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.15 .. NELBO: 5448.16
****************************************************************************************************
Validation loss decreased (10896.337891 --> 10896.326172).  Saving model ...
****************************************************************************************************
Epoch----->30 .. LR: 0.005 .. KL_theta: 1.57 .. Rec_loss: 12265.09 .. NELBO: 12266.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.15 .. NELBO: 5448.16
****************************************************************************************************
Validation loss decreased (10896.326172 --> 10896.318359).  Saving model ...
model: ETM(
  (t_drop): Dropout(p=0.3454648946388247, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=89, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=89, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=89, bias=True)
)
Defaulting to vanilla SGD
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 19.4 .. Rec_loss: 12265.37 .. NELBO: 12284.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.5 .. Rec_loss: 5448.25 .. NELBO: 5455.75
****************************************************************************************************
Validation loss decreased (inf --> 10911.502930).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 17.82 .. Rec_loss: 12265.37 .. NELBO: 12283.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.95 .. Rec_loss: 5448.25 .. NELBO: 5451.2
****************************************************************************************************
Validation loss decreased (10911.502930 --> 10902.388672).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 7.88 .. Rec_loss: 12265.4 .. NELBO: 12273.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 5448.24 .. NELBO: 5448.62
****************************************************************************************************
Validation loss decreased (10902.388672 --> 10897.237305).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 4.18 .. Rec_loss: 12265.35 .. NELBO: 12269.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 5448.24 .. NELBO: 5448.35
****************************************************************************************************
Validation loss decreased (10897.237305 --> 10896.688477).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 3.69 .. Rec_loss: 12265.36 .. NELBO: 12269.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5448.23 .. NELBO: 5448.32
****************************************************************************************************
Validation loss decreased (10896.688477 --> 10896.649414).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 3.48 .. Rec_loss: 12265.32 .. NELBO: 12268.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 5448.23 .. NELBO: 5448.34
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 3.36 .. Rec_loss: 12265.31 .. NELBO: 12268.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5448.23 .. NELBO: 5448.32
****************************************************************************************************
Validation loss decreased (10896.649414 --> 10896.631836).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 3.15 .. Rec_loss: 12265.33 .. NELBO: 12268.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5448.22 .. NELBO: 5448.29
****************************************************************************************************
Validation loss decreased (10896.631836 --> 10896.589844).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 3.04 .. Rec_loss: 12265.32 .. NELBO: 12268.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5448.22 .. NELBO: 5448.29
****************************************************************************************************
Validation loss decreased (10896.589844 --> 10896.575195).  Saving model ...
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 2.93 .. Rec_loss: 12265.31 .. NELBO: 12268.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5448.22 .. NELBO: 5448.28
****************************************************************************************************
Validation loss decreased (10896.575195 --> 10896.561523).  Saving model ...
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 2.86 .. Rec_loss: 12265.29 .. NELBO: 12268.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.21 .. NELBO: 5448.26
****************************************************************************************************
Validation loss decreased (10896.561523 --> 10896.526367).  Saving model ...
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 2.69 .. Rec_loss: 12265.3 .. NELBO: 12267.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.21 .. NELBO: 5448.26
****************************************************************************************************
Validation loss decreased (10896.526367 --> 10896.513672).  Saving model ...
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 2.61 .. Rec_loss: 12265.26 .. NELBO: 12267.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.21 .. NELBO: 5448.25
****************************************************************************************************
Validation loss decreased (10896.513672 --> 10896.493164).  Saving model ...
****************************************************************************************************
Epoch----->14 .. LR: 0.005 .. KL_theta: 2.48 .. Rec_loss: 12265.27 .. NELBO: 12267.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.2 .. NELBO: 5448.24
****************************************************************************************************
Validation loss decreased (10896.493164 --> 10896.478516).  Saving model ...
****************************************************************************************************
Epoch----->15 .. LR: 0.005 .. KL_theta: 2.43 .. Rec_loss: 12265.25 .. NELBO: 12267.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.2 .. NELBO: 5448.24
****************************************************************************************************
Validation loss decreased (10896.478516 --> 10896.467773).  Saving model ...
****************************************************************************************************
Epoch----->16 .. LR: 0.005 .. KL_theta: 2.35 .. Rec_loss: 12265.23 .. NELBO: 12267.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.19 .. NELBO: 5448.22
****************************************************************************************************
Validation loss decreased (10896.467773 --> 10896.456055).  Saving model ...
****************************************************************************************************
Epoch----->17 .. LR: 0.005 .. KL_theta: 2.29 .. Rec_loss: 12265.23 .. NELBO: 12267.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.19 .. NELBO: 5448.22
****************************************************************************************************
Validation loss decreased (10896.456055 --> 10896.436523).  Saving model ...
****************************************************************************************************
Epoch----->18 .. LR: 0.005 .. KL_theta: 2.16 .. Rec_loss: 12265.22 .. NELBO: 12267.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.19 .. NELBO: 5448.22
****************************************************************************************************
Validation loss decreased (10896.436523 --> 10896.424805).  Saving model ...
****************************************************************************************************
Epoch----->19 .. LR: 0.005 .. KL_theta: 2.08 .. Rec_loss: 12265.2 .. NELBO: 12267.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.18 .. NELBO: 5448.2
****************************************************************************************************
Validation loss decreased (10896.424805 --> 10896.408203).  Saving model ...
****************************************************************************************************
Epoch----->20 .. LR: 0.005 .. KL_theta: 2.06 .. Rec_loss: 12265.2 .. NELBO: 12267.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.18 .. NELBO: 5448.2
****************************************************************************************************
Validation loss decreased (10896.408203 --> 10896.397461).  Saving model ...
****************************************************************************************************
Epoch----->21 .. LR: 0.005 .. KL_theta: 1.98 .. Rec_loss: 12265.18 .. NELBO: 12267.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.17 .. NELBO: 5448.19
****************************************************************************************************
Validation loss decreased (10896.397461 --> 10896.378906).  Saving model ...
****************************************************************************************************
Epoch----->22 .. LR: 0.005 .. KL_theta: 1.92 .. Rec_loss: 12265.17 .. NELBO: 12267.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.17 .. NELBO: 5448.19
****************************************************************************************************
Validation loss decreased (10896.378906 --> 10896.374023).  Saving model ...
****************************************************************************************************
Epoch----->23 .. LR: 0.005 .. KL_theta: 1.86 .. Rec_loss: 12265.15 .. NELBO: 12267.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.17 .. NELBO: 5448.19
****************************************************************************************************
Validation loss decreased (10896.374023 --> 10896.363281).  Saving model ...
****************************************************************************************************
Epoch----->24 .. LR: 0.005 .. KL_theta: 1.86 .. Rec_loss: 12265.12 .. NELBO: 12266.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.16 .. NELBO: 5448.17
****************************************************************************************************
Validation loss decreased (10896.363281 --> 10896.350586).  Saving model ...
****************************************************************************************************
Epoch----->25 .. LR: 0.005 .. KL_theta: 1.78 .. Rec_loss: 12265.13 .. NELBO: 12266.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.16 .. NELBO: 5448.17
****************************************************************************************************
Validation loss decreased (10896.350586 --> 10896.342773).  Saving model ...
****************************************************************************************************
Epoch----->26 .. LR: 0.005 .. KL_theta: 1.7 .. Rec_loss: 12265.11 .. NELBO: 12266.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.15 .. NELBO: 5448.16
****************************************************************************************************
Validation loss decreased (10896.342773 --> 10896.332031).  Saving model ...
****************************************************************************************************
Epoch----->27 .. LR: 0.005 .. KL_theta: 1.69 .. Rec_loss: 12265.09 .. NELBO: 12266.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.15 .. NELBO: 5448.16
****************************************************************************************************
Validation loss decreased (10896.332031 --> 10896.327148).  Saving model ...
****************************************************************************************************
Epoch----->28 .. LR: 0.005 .. KL_theta: 1.63 .. Rec_loss: 12265.12 .. NELBO: 12266.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.14 .. NELBO: 5448.15
****************************************************************************************************
Validation loss decreased (10896.327148 --> 10896.318359).  Saving model ...
****************************************************************************************************
Epoch----->29 .. LR: 0.005 .. KL_theta: 1.6 .. Rec_loss: 12265.09 .. NELBO: 12266.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.14 .. NELBO: 5448.15
****************************************************************************************************
Validation loss decreased (10896.318359 --> 10896.305664).  Saving model ...
****************************************************************************************************
Epoch----->30 .. LR: 0.005 .. KL_theta: 1.58 .. Rec_loss: 12265.08 .. NELBO: 12266.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.14 .. NELBO: 5448.15
****************************************************************************************************
Validation loss decreased (10896.305664 --> 10896.298828).  Saving model ...
model: ETM(
  (t_drop): Dropout(p=0.3454648946388247, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=89, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=89, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=89, bias=True)
)
Defaulting to vanilla SGD
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 22.63 .. Rec_loss: 12265.31 .. NELBO: 12287.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.68 .. Rec_loss: 5448.23 .. NELBO: 5456.91
****************************************************************************************************
Validation loss decreased (inf --> 10913.821289).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 19.03 .. Rec_loss: 12265.36 .. NELBO: 12284.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.36 .. Rec_loss: 5448.22 .. NELBO: 5450.58
****************************************************************************************************
Validation loss decreased (10913.821289 --> 10901.162109).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 6.77 .. Rec_loss: 12265.29 .. NELBO: 12272.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.21 .. Rec_loss: 5448.22 .. NELBO: 5448.43
****************************************************************************************************
Validation loss decreased (10901.162109 --> 10896.846680).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 3.87 .. Rec_loss: 12265.32 .. NELBO: 12269.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 5448.21 .. NELBO: 5448.34
****************************************************************************************************
Validation loss decreased (10896.846680 --> 10896.681641).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 3.53 .. Rec_loss: 12265.29 .. NELBO: 12268.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5448.21 .. NELBO: 5448.3
****************************************************************************************************
Validation loss decreased (10896.681641 --> 10896.609375).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 3.33 .. Rec_loss: 12265.3 .. NELBO: 12268.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5448.21 .. NELBO: 5448.29
****************************************************************************************************
Validation loss decreased (10896.609375 --> 10896.580078).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 3.25 .. Rec_loss: 12265.3 .. NELBO: 12268.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5448.2 .. NELBO: 5448.27
****************************************************************************************************
Validation loss decreased (10896.580078 --> 10896.544922).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 3.11 .. Rec_loss: 12265.27 .. NELBO: 12268.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5448.2 .. NELBO: 5448.26
****************************************************************************************************
Validation loss decreased (10896.544922 --> 10896.519531).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 2.96 .. Rec_loss: 12265.25 .. NELBO: 12268.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.2 .. NELBO: 5448.25
****************************************************************************************************
Validation loss decreased (10896.519531 --> 10896.491211).  Saving model ...
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 2.84 .. Rec_loss: 12265.24 .. NELBO: 12268.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5448.19 .. NELBO: 5448.25
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 2.75 .. Rec_loss: 12265.24 .. NELBO: 12267.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.19 .. NELBO: 5448.24
****************************************************************************************************
Validation loss decreased (10896.491211 --> 10896.478516).  Saving model ...
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 2.62 .. Rec_loss: 12265.19 .. NELBO: 12267.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.18 .. NELBO: 5448.22
****************************************************************************************************
Validation loss decreased (10896.478516 --> 10896.445312).  Saving model ...
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 2.55 .. Rec_loss: 12265.2 .. NELBO: 12267.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.18 .. NELBO: 5448.22
****************************************************************************************************
Validation loss decreased (10896.445312 --> 10896.434570).  Saving model ...
****************************************************************************************************
Epoch----->14 .. LR: 0.005 .. KL_theta: 2.44 .. Rec_loss: 12265.19 .. NELBO: 12267.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.18 .. NELBO: 5448.22
****************************************************************************************************
Validation loss decreased (10896.434570 --> 10896.426758).  Saving model ...
****************************************************************************************************
Epoch----->15 .. LR: 0.005 .. KL_theta: 2.35 .. Rec_loss: 12265.19 .. NELBO: 12267.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.17 .. NELBO: 5448.21
****************************************************************************************************
Validation loss decreased (10896.426758 --> 10896.421875).  Saving model ...
****************************************************************************************************
Epoch----->16 .. LR: 0.005 .. KL_theta: 2.28 .. Rec_loss: 12265.21 .. NELBO: 12267.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.17 .. NELBO: 5448.2
****************************************************************************************************
Validation loss decreased (10896.421875 --> 10896.407227).  Saving model ...
****************************************************************************************************
Epoch----->17 .. LR: 0.005 .. KL_theta: 2.26 .. Rec_loss: 12265.16 .. NELBO: 12267.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.17 .. NELBO: 5448.2
****************************************************************************************************
Validation loss decreased (10896.407227 --> 10896.386719).  Saving model ...
****************************************************************************************************
Epoch----->18 .. LR: 0.005 .. KL_theta: 2.16 .. Rec_loss: 12265.16 .. NELBO: 12267.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.16 .. NELBO: 5448.19
****************************************************************************************************
Validation loss decreased (10896.386719 --> 10896.375000).  Saving model ...
****************************************************************************************************
Epoch----->19 .. LR: 0.005 .. KL_theta: 2.08 .. Rec_loss: 12265.15 .. NELBO: 12267.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.16 .. NELBO: 5448.18
****************************************************************************************************
Validation loss decreased (10896.375000 --> 10896.363281).  Saving model ...
****************************************************************************************************
Epoch----->20 .. LR: 0.005 .. KL_theta: 2.02 .. Rec_loss: 12265.13 .. NELBO: 12267.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.15 .. NELBO: 5448.17
****************************************************************************************************
Validation loss decreased (10896.363281 --> 10896.351562).  Saving model ...
****************************************************************************************************
Epoch----->21 .. LR: 0.005 .. KL_theta: 1.95 .. Rec_loss: 12265.14 .. NELBO: 12267.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.15 .. NELBO: 5448.18
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->22 .. LR: 0.005 .. KL_theta: 1.94 .. Rec_loss: 12265.14 .. NELBO: 12267.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.15 .. NELBO: 5448.17
****************************************************************************************************
Validation loss decreased (10896.351562 --> 10896.336914).  Saving model ...
****************************************************************************************************
Epoch----->23 .. LR: 0.005 .. KL_theta: 1.85 .. Rec_loss: 12265.1 .. NELBO: 12266.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.14 .. NELBO: 5448.16
****************************************************************************************************
Validation loss decreased (10896.336914 --> 10896.316406).  Saving model ...
****************************************************************************************************
Epoch----->24 .. LR: 0.005 .. KL_theta: 1.84 .. Rec_loss: 12265.07 .. NELBO: 12266.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.14 .. NELBO: 5448.16
****************************************************************************************************
Validation loss decreased (10896.316406 --> 10896.311523).  Saving model ...
****************************************************************************************************
Epoch----->25 .. LR: 0.005 .. KL_theta: 1.75 .. Rec_loss: 12265.08 .. NELBO: 12266.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.13 .. NELBO: 5448.14
****************************************************************************************************
Validation loss decreased (10896.311523 --> 10896.297852).  Saving model ...
****************************************************************************************************
Epoch----->26 .. LR: 0.005 .. KL_theta: 1.72 .. Rec_loss: 12265.07 .. NELBO: 12266.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.13 .. NELBO: 5448.14
****************************************************************************************************
Validation loss decreased (10896.297852 --> 10896.286133).  Saving model ...
****************************************************************************************************
Epoch----->27 .. LR: 0.005 .. KL_theta: 1.67 .. Rec_loss: 12265.07 .. NELBO: 12266.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.12 .. NELBO: 5448.13
****************************************************************************************************
Validation loss decreased (10896.286133 --> 10896.272461).  Saving model ...
****************************************************************************************************
Epoch----->28 .. LR: 0.005 .. KL_theta: 1.63 .. Rec_loss: 12265.05 .. NELBO: 12266.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.12 .. NELBO: 5448.13
****************************************************************************************************
Validation loss decreased (10896.272461 --> 10896.267578).  Saving model ...
****************************************************************************************************
Epoch----->29 .. LR: 0.005 .. KL_theta: 1.61 .. Rec_loss: 12265.02 .. NELBO: 12266.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.12 .. NELBO: 5448.13
****************************************************************************************************
Validation loss decreased (10896.267578 --> 10896.257812).  Saving model ...
****************************************************************************************************
Epoch----->30 .. LR: 0.005 .. KL_theta: 1.56 .. Rec_loss: 12265.04 .. NELBO: 12266.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.11 .. NELBO: 5448.12
****************************************************************************************************
Validation loss decreased (10896.257812 --> 10896.247070).  Saving model ...
Current call:  6
model: ETM(
  (t_drop): Dropout(p=0.16045155809509165, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=90, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=90, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=90, bias=True)
)
Defaulting to vanilla SGD
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 13.72 .. Rec_loss: 12265.4 .. NELBO: 12279.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.4 .. Rec_loss: 5448.25 .. NELBO: 5456.65
****************************************************************************************************
Validation loss decreased (inf --> 10913.305664).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 18.67 .. Rec_loss: 12265.38 .. NELBO: 12284.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 5.49 .. Rec_loss: 5448.25 .. NELBO: 5453.74
****************************************************************************************************
Validation loss decreased (10913.305664 --> 10907.465820).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 9.34 .. Rec_loss: 12265.4 .. NELBO: 12274.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.73 .. Rec_loss: 5448.24 .. NELBO: 5448.97
****************************************************************************************************
Validation loss decreased (10907.465820 --> 10897.940430).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 2.36 .. Rec_loss: 12265.37 .. NELBO: 12267.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5448.23 .. NELBO: 5448.3
****************************************************************************************************
Validation loss decreased (10897.940430 --> 10896.616211).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 1.56 .. Rec_loss: 12265.37 .. NELBO: 12266.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5448.23 .. NELBO: 5448.29
****************************************************************************************************
Validation loss decreased (10896.616211 --> 10896.586914).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 1.47 .. Rec_loss: 12265.35 .. NELBO: 12266.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.23 .. NELBO: 5448.28
****************************************************************************************************
Validation loss decreased (10896.586914 --> 10896.549805).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 1.43 .. Rec_loss: 12265.35 .. NELBO: 12266.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.22 .. NELBO: 5448.26
****************************************************************************************************
Validation loss decreased (10896.549805 --> 10896.519531).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 1.39 .. Rec_loss: 12265.33 .. NELBO: 12266.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.22 .. NELBO: 5448.26
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 1.38 .. Rec_loss: 12265.31 .. NELBO: 12266.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.22 .. NELBO: 5448.26
****************************************************************************************************
Validation loss decreased (10896.519531 --> 10896.514648).  Saving model ...
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 1.35 .. Rec_loss: 12265.31 .. NELBO: 12266.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.21 .. NELBO: 5448.24
****************************************************************************************************
Validation loss decreased (10896.514648 --> 10896.496094).  Saving model ...
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 1.32 .. Rec_loss: 12265.31 .. NELBO: 12266.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.21 .. NELBO: 5448.25
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 1.29 .. Rec_loss: 12265.31 .. NELBO: 12266.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.21 .. NELBO: 5448.24
****************************************************************************************************
Validation loss decreased (10896.496094 --> 10896.480469).  Saving model ...
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 1.26 .. Rec_loss: 12265.27 .. NELBO: 12266.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.21 .. NELBO: 5448.23
****************************************************************************************************
Validation loss decreased (10896.480469 --> 10896.455078).  Saving model ...
****************************************************************************************************
Epoch----->14 .. LR: 0.005 .. KL_theta: 1.25 .. Rec_loss: 12265.28 .. NELBO: 12266.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.2 .. NELBO: 5448.24
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->15 .. LR: 0.005 .. KL_theta: 1.22 .. Rec_loss: 12265.27 .. NELBO: 12266.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.2 .. NELBO: 5448.23
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->16 .. LR: 0.005 .. KL_theta: 1.22 .. Rec_loss: 12265.28 .. NELBO: 12266.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.19 .. NELBO: 5448.22
****************************************************************************************************
Validation loss decreased (10896.455078 --> 10896.451172).  Saving model ...
****************************************************************************************************
Epoch----->17 .. LR: 0.005 .. KL_theta: 1.19 .. Rec_loss: 12265.25 .. NELBO: 12266.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.19 .. NELBO: 5448.21
****************************************************************************************************
Validation loss decreased (10896.451172 --> 10896.432617).  Saving model ...
****************************************************************************************************
Epoch----->18 .. LR: 0.005 .. KL_theta: 1.19 .. Rec_loss: 12265.25 .. NELBO: 12266.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.19 .. NELBO: 5448.21
****************************************************************************************************
Validation loss decreased (10896.432617 --> 10896.416992).  Saving model ...
****************************************************************************************************
Epoch----->19 .. LR: 0.005 .. KL_theta: 1.14 .. Rec_loss: 12265.21 .. NELBO: 12266.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.18 .. NELBO: 5448.2
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->20 .. LR: 0.005 .. KL_theta: 1.13 .. Rec_loss: 12265.23 .. NELBO: 12266.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.18 .. NELBO: 5448.2
****************************************************************************************************
Validation loss decreased (10896.416992 --> 10896.410156).  Saving model ...
****************************************************************************************************
Epoch----->21 .. LR: 0.005 .. KL_theta: 1.14 .. Rec_loss: 12265.22 .. NELBO: 12266.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.18 .. NELBO: 5448.2
****************************************************************************************************
Validation loss decreased (10896.410156 --> 10896.395508).  Saving model ...
****************************************************************************************************
Epoch----->22 .. LR: 0.005 .. KL_theta: 1.09 .. Rec_loss: 12265.2 .. NELBO: 12266.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.17 .. NELBO: 5448.19
****************************************************************************************************
Validation loss decreased (10896.395508 --> 10896.385742).  Saving model ...
****************************************************************************************************
Epoch----->23 .. LR: 0.005 .. KL_theta: 1.05 .. Rec_loss: 12265.19 .. NELBO: 12266.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.17 .. NELBO: 5448.18
****************************************************************************************************
Validation loss decreased (10896.385742 --> 10896.371094).  Saving model ...
****************************************************************************************************
Epoch----->24 .. LR: 0.005 .. KL_theta: 1.04 .. Rec_loss: 12265.2 .. NELBO: 12266.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.17 .. NELBO: 5448.19
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->25 .. LR: 0.005 .. KL_theta: 1.05 .. Rec_loss: 12265.17 .. NELBO: 12266.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.16 .. NELBO: 5448.18
****************************************************************************************************
Validation loss decreased (10896.371094 --> 10896.360352).  Saving model ...
****************************************************************************************************
Epoch----->26 .. LR: 0.005 .. KL_theta: 1.03 .. Rec_loss: 12265.15 .. NELBO: 12266.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.16 .. NELBO: 5448.18
****************************************************************************************************
Validation loss decreased (10896.360352 --> 10896.353516).  Saving model ...
****************************************************************************************************
Epoch----->27 .. LR: 0.005 .. KL_theta: 1.02 .. Rec_loss: 12265.15 .. NELBO: 12266.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.16 .. NELBO: 5448.17
****************************************************************************************************
Validation loss decreased (10896.353516 --> 10896.337891).  Saving model ...
****************************************************************************************************
Epoch----->28 .. LR: 0.005 .. KL_theta: 0.99 .. Rec_loss: 12265.14 .. NELBO: 12266.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.15 .. NELBO: 5448.17
****************************************************************************************************
Validation loss decreased (10896.337891 --> 10896.336914).  Saving model ...
****************************************************************************************************
Epoch----->29 .. LR: 0.005 .. KL_theta: 0.97 .. Rec_loss: 12265.12 .. NELBO: 12266.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.15 .. NELBO: 5448.17
****************************************************************************************************
Validation loss decreased (10896.336914 --> 10896.331055).  Saving model ...
****************************************************************************************************
Epoch----->30 .. LR: 0.005 .. KL_theta: 0.99 .. Rec_loss: 12265.14 .. NELBO: 12266.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.14 .. NELBO: 5448.15
****************************************************************************************************
Validation loss decreased (10896.331055 --> 10896.316406).  Saving model ...
model: ETM(
  (t_drop): Dropout(p=0.16045155809509165, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=90, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=90, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=90, bias=True)
)
Defaulting to vanilla SGD
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 12.93 .. Rec_loss: 12265.37 .. NELBO: 12278.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.17 .. Rec_loss: 5448.24 .. NELBO: 5455.41
****************************************************************************************************
Validation loss decreased (inf --> 10910.816406).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 16.25 .. Rec_loss: 12265.32 .. NELBO: 12281.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 5.01 .. Rec_loss: 5448.23 .. NELBO: 5453.24
****************************************************************************************************
Validation loss decreased (10910.816406 --> 10906.483398).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 9.16 .. Rec_loss: 12265.34 .. NELBO: 12274.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.06 .. Rec_loss: 5448.23 .. NELBO: 5449.29
****************************************************************************************************
Validation loss decreased (10906.483398 --> 10898.571289).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 2.87 .. Rec_loss: 12265.32 .. NELBO: 12268.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 5448.23 .. NELBO: 5448.37
****************************************************************************************************
Validation loss decreased (10898.571289 --> 10896.729492).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 1.62 .. Rec_loss: 12265.31 .. NELBO: 12266.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.22 .. NELBO: 5448.27
****************************************************************************************************
Validation loss decreased (10896.729492 --> 10896.556641).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 1.46 .. Rec_loss: 12265.32 .. NELBO: 12266.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.22 .. NELBO: 5448.27
****************************************************************************************************
Validation loss decreased (10896.556641 --> 10896.545898).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 1.51 .. Rec_loss: 12265.32 .. NELBO: 12266.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.22 .. NELBO: 5448.26
****************************************************************************************************
Validation loss decreased (10896.545898 --> 10896.519531).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 1.43 .. Rec_loss: 12265.29 .. NELBO: 12266.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.21 .. NELBO: 5448.26
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 1.44 .. Rec_loss: 12265.28 .. NELBO: 12266.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.21 .. NELBO: 5448.24
****************************************************************************************************
Validation loss decreased (10896.519531 --> 10896.487305).  Saving model ...
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 1.39 .. Rec_loss: 12265.28 .. NELBO: 12266.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.21 .. NELBO: 5448.25
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 1.34 .. Rec_loss: 12265.25 .. NELBO: 12266.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.21 .. NELBO: 5448.25
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 1.35 .. Rec_loss: 12265.28 .. NELBO: 12266.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.2 .. NELBO: 5448.23
****************************************************************************************************
Validation loss decreased (10896.487305 --> 10896.472656).  Saving model ...
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 1.29 .. Rec_loss: 12265.24 .. NELBO: 12266.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.2 .. NELBO: 5448.24
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->14 .. LR: 0.005 .. KL_theta: 1.27 .. Rec_loss: 12265.25 .. NELBO: 12266.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.2 .. NELBO: 5448.23
****************************************************************************************************
Validation loss decreased (10896.472656 --> 10896.460938).  Saving model ...
****************************************************************************************************
Epoch----->15 .. LR: 0.005 .. KL_theta: 1.26 .. Rec_loss: 12265.24 .. NELBO: 12266.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.19 .. NELBO: 5448.22
****************************************************************************************************
Validation loss decreased (10896.460938 --> 10896.442383).  Saving model ...
****************************************************************************************************
Epoch----->16 .. LR: 0.005 .. KL_theta: 1.23 .. Rec_loss: 12265.21 .. NELBO: 12266.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.19 .. NELBO: 5448.22
****************************************************************************************************
Validation loss decreased (10896.442383 --> 10896.441406).  Saving model ...
****************************************************************************************************
Epoch----->17 .. LR: 0.005 .. KL_theta: 1.22 .. Rec_loss: 12265.2 .. NELBO: 12266.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.19 .. NELBO: 5448.21
****************************************************************************************************
Validation loss decreased (10896.441406 --> 10896.416992).  Saving model ...
****************************************************************************************************
Epoch----->18 .. LR: 0.005 .. KL_theta: 1.2 .. Rec_loss: 12265.21 .. NELBO: 12266.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.18 .. NELBO: 5448.21
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->19 .. LR: 0.005 .. KL_theta: 1.16 .. Rec_loss: 12265.18 .. NELBO: 12266.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.18 .. NELBO: 5448.21
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->20 .. LR: 0.005 .. KL_theta: 1.16 .. Rec_loss: 12265.18 .. NELBO: 12266.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.18 .. NELBO: 5448.21
****************************************************************************************************
Validation loss decreased (10896.416992 --> 10896.412109).  Saving model ...
****************************************************************************************************
Epoch----->21 .. LR: 0.005 .. KL_theta: 1.15 .. Rec_loss: 12265.19 .. NELBO: 12266.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.18 .. NELBO: 5448.21
****************************************************************************************************
Validation loss decreased (10896.412109 --> 10896.408203).  Saving model ...
****************************************************************************************************
Epoch----->22 .. LR: 0.005 .. KL_theta: 1.13 .. Rec_loss: 12265.18 .. NELBO: 12266.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.17 .. NELBO: 5448.19
****************************************************************************************************
Validation loss decreased (10896.408203 --> 10896.381836).  Saving model ...
****************************************************************************************************
Epoch----->23 .. LR: 0.005 .. KL_theta: 1.09 .. Rec_loss: 12265.13 .. NELBO: 12266.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.17 .. NELBO: 5448.19
****************************************************************************************************
Validation loss decreased (10896.381836 --> 10896.374023).  Saving model ...
****************************************************************************************************
Epoch----->24 .. LR: 0.005 .. KL_theta: 1.08 .. Rec_loss: 12265.16 .. NELBO: 12266.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.16 .. NELBO: 5448.18
****************************************************************************************************
Validation loss decreased (10896.374023 --> 10896.366211).  Saving model ...
****************************************************************************************************
Epoch----->25 .. LR: 0.005 .. KL_theta: 1.1 .. Rec_loss: 12265.14 .. NELBO: 12266.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.16 .. NELBO: 5448.18
****************************************************************************************************
Validation loss decreased (10896.366211 --> 10896.366211).  Saving model ...
****************************************************************************************************
Epoch----->26 .. LR: 0.005 .. KL_theta: 1.03 .. Rec_loss: 12265.13 .. NELBO: 12266.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.16 .. NELBO: 5448.18
****************************************************************************************************
Validation loss decreased (10896.366211 --> 10896.353516).  Saving model ...
****************************************************************************************************
Epoch----->27 .. LR: 0.005 .. KL_theta: 1.02 .. Rec_loss: 12265.11 .. NELBO: 12266.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.15 .. NELBO: 5448.16
****************************************************************************************************
Validation loss decreased (10896.353516 --> 10896.337891).  Saving model ...
****************************************************************************************************
Epoch----->28 .. LR: 0.005 .. KL_theta: 1.01 .. Rec_loss: 12265.09 .. NELBO: 12266.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.15 .. NELBO: 5448.17
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->29 .. LR: 0.005 .. KL_theta: 1.0 .. Rec_loss: 12265.06 .. NELBO: 12266.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.15 .. NELBO: 5448.17
****************************************************************************************************
Validation loss decreased (10896.337891 --> 10896.330078).  Saving model ...
****************************************************************************************************
Epoch----->30 .. LR: 0.005 .. KL_theta: 0.99 .. Rec_loss: 12265.08 .. NELBO: 12266.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.14 .. NELBO: 5448.15
****************************************************************************************************
Validation loss decreased (10896.330078 --> 10896.311523).  Saving model ...
model: ETM(
  (t_drop): Dropout(p=0.16045155809509165, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=90, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=90, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=90, bias=True)
)
Defaulting to vanilla SGD
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 17.6 .. Rec_loss: 12265.34 .. NELBO: 12282.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 12.64 .. Rec_loss: 5448.24 .. NELBO: 5460.88
****************************************************************************************************
Validation loss decreased (inf --> 10921.768555).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 25.57 .. Rec_loss: 12265.35 .. NELBO: 12290.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 5.23 .. Rec_loss: 5448.23 .. NELBO: 5453.46
****************************************************************************************************
Validation loss decreased (10921.768555 --> 10906.923828).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 7.91 .. Rec_loss: 12265.34 .. NELBO: 12273.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.28 .. Rec_loss: 5448.23 .. NELBO: 5448.51
****************************************************************************************************
Validation loss decreased (10906.923828 --> 10897.002930).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 1.68 .. Rec_loss: 12265.32 .. NELBO: 12267.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5448.22 .. NELBO: 5448.28
****************************************************************************************************
Validation loss decreased (10897.002930 --> 10896.566406).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 1.4 .. Rec_loss: 12265.34 .. NELBO: 12266.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.22 .. NELBO: 5448.26
****************************************************************************************************
Validation loss decreased (10896.566406 --> 10896.516602).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 1.33 .. Rec_loss: 12265.32 .. NELBO: 12266.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.22 .. NELBO: 5448.24
****************************************************************************************************
Validation loss decreased (10896.516602 --> 10896.481445).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 1.3 .. Rec_loss: 12265.3 .. NELBO: 12266.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.21 .. NELBO: 5448.25
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 1.27 .. Rec_loss: 12265.31 .. NELBO: 12266.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.21 .. NELBO: 5448.25
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 1.27 .. Rec_loss: 12265.28 .. NELBO: 12266.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.21 .. NELBO: 5448.24
****************************************************************************************************
Validation loss decreased (10896.481445 --> 10896.465820).  Saving model ...
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 1.25 .. Rec_loss: 12265.26 .. NELBO: 12266.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.2 .. NELBO: 5448.24
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 1.24 .. Rec_loss: 12265.26 .. NELBO: 12266.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.2 .. NELBO: 5448.23
****************************************************************************************************
Validation loss decreased (10896.465820 --> 10896.454102).  Saving model ...
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 1.22 .. Rec_loss: 12265.25 .. NELBO: 12266.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.19 .. NELBO: 5448.22
****************************************************************************************************
Validation loss decreased (10896.454102 --> 10896.450195).  Saving model ...
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 1.15 .. Rec_loss: 12265.23 .. NELBO: 12266.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.19 .. NELBO: 5448.21
****************************************************************************************************
Validation loss decreased (10896.450195 --> 10896.427734).  Saving model ...
****************************************************************************************************
Epoch----->14 .. LR: 0.005 .. KL_theta: 1.17 .. Rec_loss: 12265.23 .. NELBO: 12266.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.19 .. NELBO: 5448.21
****************************************************************************************************
Validation loss decreased (10896.427734 --> 10896.423828).  Saving model ...
****************************************************************************************************
Epoch----->15 .. LR: 0.005 .. KL_theta: 1.12 .. Rec_loss: 12265.22 .. NELBO: 12266.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.18 .. NELBO: 5448.2
****************************************************************************************************
Validation loss decreased (10896.423828 --> 10896.413086).  Saving model ...
****************************************************************************************************
Epoch----->16 .. LR: 0.005 .. KL_theta: 1.11 .. Rec_loss: 12265.18 .. NELBO: 12266.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.18 .. NELBO: 5448.2
****************************************************************************************************
Validation loss decreased (10896.413086 --> 10896.397461).  Saving model ...
****************************************************************************************************
Epoch----->17 .. LR: 0.005 .. KL_theta: 1.09 .. Rec_loss: 12265.21 .. NELBO: 12266.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.18 .. NELBO: 5448.2
****************************************************************************************************
Validation loss decreased (10896.397461 --> 10896.385742).  Saving model ...
****************************************************************************************************
Epoch----->18 .. LR: 0.005 .. KL_theta: 1.11 .. Rec_loss: 12265.19 .. NELBO: 12266.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.17 .. NELBO: 5448.19
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->19 .. LR: 0.005 .. KL_theta: 1.06 .. Rec_loss: 12265.19 .. NELBO: 12266.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.17 .. NELBO: 5448.19
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->20 .. LR: 0.005 .. KL_theta: 1.05 .. Rec_loss: 12265.16 .. NELBO: 12266.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.17 .. NELBO: 5448.19
****************************************************************************************************
Validation loss decreased (10896.385742 --> 10896.375977).  Saving model ...
****************************************************************************************************
Epoch----->21 .. LR: 0.005 .. KL_theta: 1.06 .. Rec_loss: 12265.17 .. NELBO: 12266.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.16 .. NELBO: 5448.18
****************************************************************************************************
Validation loss decreased (10896.375977 --> 10896.365234).  Saving model ...
****************************************************************************************************
Epoch----->22 .. LR: 0.005 .. KL_theta: 1.02 .. Rec_loss: 12265.16 .. NELBO: 12266.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.16 .. NELBO: 5448.18
****************************************************************************************************
Validation loss decreased (10896.365234 --> 10896.350586).  Saving model ...
****************************************************************************************************
Epoch----->23 .. LR: 0.005 .. KL_theta: 1.02 .. Rec_loss: 12265.16 .. NELBO: 12266.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.15 .. NELBO: 5448.17
****************************************************************************************************
Validation loss decreased (10896.350586 --> 10896.340820).  Saving model ...
****************************************************************************************************
Epoch----->24 .. LR: 0.005 .. KL_theta: 1.01 .. Rec_loss: 12265.15 .. NELBO: 12266.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.15 .. NELBO: 5448.16
****************************************************************************************************
Validation loss decreased (10896.340820 --> 10896.330078).  Saving model ...
****************************************************************************************************
Epoch----->25 .. LR: 0.005 .. KL_theta: 0.98 .. Rec_loss: 12265.12 .. NELBO: 12266.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.15 .. NELBO: 5448.16
****************************************************************************************************
Validation loss decreased (10896.330078 --> 10896.317383).  Saving model ...
****************************************************************************************************
Epoch----->26 .. LR: 0.005 .. KL_theta: 0.97 .. Rec_loss: 12265.12 .. NELBO: 12266.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.14 .. NELBO: 5448.16
****************************************************************************************************
Validation loss decreased (10896.317383 --> 10896.315430).  Saving model ...
****************************************************************************************************
Epoch----->27 .. LR: 0.005 .. KL_theta: 0.95 .. Rec_loss: 12265.1 .. NELBO: 12266.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.14 .. NELBO: 5448.15
****************************************************************************************************
Validation loss decreased (10896.315430 --> 10896.304688).  Saving model ...
****************************************************************************************************
Epoch----->28 .. LR: 0.005 .. KL_theta: 0.94 .. Rec_loss: 12265.08 .. NELBO: 12266.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.13 .. NELBO: 5448.14
****************************************************************************************************
Validation loss decreased (10896.304688 --> 10896.295898).  Saving model ...
****************************************************************************************************
Epoch----->29 .. LR: 0.005 .. KL_theta: 0.94 .. Rec_loss: 12265.06 .. NELBO: 12266.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.13 .. NELBO: 5448.15
****************************************************************************************************
Validation loss decreased (10896.295898 --> 10896.291016).  Saving model ...
****************************************************************************************************
Epoch----->30 .. LR: 0.005 .. KL_theta: 0.92 .. Rec_loss: 12265.06 .. NELBO: 12265.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.13 .. NELBO: 5448.14
****************************************************************************************************
Validation loss decreased (10896.291016 --> 10896.278320).  Saving model ...
Current call:  7
model: ETM(
  (t_drop): Dropout(p=0.4318874339465485, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=82, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=82, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=82, bias=True)
)
Defaulting to vanilla SGD
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 6.77 .. Rec_loss: 12265.36 .. NELBO: 12272.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 5448.24 .. NELBO: 5448.35
****************************************************************************************************
Validation loss decreased (inf --> 10896.714844).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 3.96 .. Rec_loss: 12265.31 .. NELBO: 12269.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5448.24 .. NELBO: 5448.32
****************************************************************************************************
Validation loss decreased (10896.714844 --> 10896.640625).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 3.88 .. Rec_loss: 12265.32 .. NELBO: 12269.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5448.24 .. NELBO: 5448.3
****************************************************************************************************
Validation loss decreased (10896.640625 --> 10896.606445).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 3.92 .. Rec_loss: 12265.27 .. NELBO: 12269.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5448.23 .. NELBO: 5448.29
****************************************************************************************************
Validation loss decreased (10896.606445 --> 10896.585938).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 3.77 .. Rec_loss: 12265.29 .. NELBO: 12269.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5448.23 .. NELBO: 5448.3
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 3.74 .. Rec_loss: 12265.28 .. NELBO: 12269.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.23 .. NELBO: 5448.28
****************************************************************************************************
Validation loss decreased (10896.585938 --> 10896.565430).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 3.75 .. Rec_loss: 12265.25 .. NELBO: 12269.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.22 .. NELBO: 5448.27
****************************************************************************************************
Validation loss decreased (10896.565430 --> 10896.544922).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 3.66 .. Rec_loss: 12265.27 .. NELBO: 12268.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5448.22 .. NELBO: 5448.28
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 3.64 .. Rec_loss: 12265.27 .. NELBO: 12268.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5448.22 .. NELBO: 5448.28
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 3.56 .. Rec_loss: 12265.23 .. NELBO: 12268.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.21 .. NELBO: 5448.25
****************************************************************************************************
Validation loss decreased (10896.544922 --> 10896.516602).  Saving model ...
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 3.61 .. Rec_loss: 12265.23 .. NELBO: 12268.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.21 .. NELBO: 5448.25
****************************************************************************************************
Validation loss decreased (10896.516602 --> 10896.511719).  Saving model ...
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 3.43 .. Rec_loss: 12265.2 .. NELBO: 12268.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5448.21 .. NELBO: 5448.27
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 3.32 .. Rec_loss: 12265.17 .. NELBO: 12268.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.2 .. NELBO: 5448.24
****************************************************************************************************
Validation loss decreased (10896.511719 --> 10896.483398).  Saving model ...
****************************************************************************************************
Epoch----->14 .. LR: 0.005 .. KL_theta: 3.43 .. Rec_loss: 12265.18 .. NELBO: 12268.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.2 .. NELBO: 5448.24
****************************************************************************************************
Validation loss decreased (10896.483398 --> 10896.483398).  Saving model ...
****************************************************************************************************
Epoch----->15 .. LR: 0.005 .. KL_theta: 3.33 .. Rec_loss: 12265.21 .. NELBO: 12268.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.2 .. NELBO: 5448.25
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->16 .. LR: 0.005 .. KL_theta: 3.29 .. Rec_loss: 12265.15 .. NELBO: 12268.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.19 .. NELBO: 5448.24
****************************************************************************************************
Validation loss decreased (10896.483398 --> 10896.483398).  Saving model ...
****************************************************************************************************
Epoch----->17 .. LR: 0.005 .. KL_theta: 3.27 .. Rec_loss: 12265.2 .. NELBO: 12268.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.19 .. NELBO: 5448.23
****************************************************************************************************
Validation loss decreased (10896.483398 --> 10896.458984).  Saving model ...
****************************************************************************************************
Epoch----->18 .. LR: 0.005 .. KL_theta: 3.19 .. Rec_loss: 12265.13 .. NELBO: 12268.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.19 .. NELBO: 5448.23
****************************************************************************************************
Validation loss decreased (10896.458984 --> 10896.458008).  Saving model ...
****************************************************************************************************
Epoch----->19 .. LR: 0.005 .. KL_theta: 3.18 .. Rec_loss: 12265.14 .. NELBO: 12268.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.18 .. NELBO: 5448.22
****************************************************************************************************
Validation loss decreased (10896.458008 --> 10896.447266).  Saving model ...
****************************************************************************************************
Epoch----->20 .. LR: 0.005 .. KL_theta: 3.18 .. Rec_loss: 12265.13 .. NELBO: 12268.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.18 .. NELBO: 5448.22
****************************************************************************************************
Validation loss decreased (10896.447266 --> 10896.434570).  Saving model ...
****************************************************************************************************
Epoch----->21 .. LR: 0.005 .. KL_theta: 3.08 .. Rec_loss: 12265.12 .. NELBO: 12268.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.17 .. NELBO: 5448.21
****************************************************************************************************
Validation loss decreased (10896.434570 --> 10896.425781).  Saving model ...
****************************************************************************************************
Epoch----->22 .. LR: 0.005 .. KL_theta: 3.02 .. Rec_loss: 12265.09 .. NELBO: 12268.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.17 .. NELBO: 5448.2
****************************************************************************************************
Validation loss decreased (10896.425781 --> 10896.408203).  Saving model ...
****************************************************************************************************
Epoch----->23 .. LR: 0.005 .. KL_theta: 3.0 .. Rec_loss: 12265.12 .. NELBO: 12268.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.17 .. NELBO: 5448.21
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->24 .. LR: 0.005 .. KL_theta: 2.94 .. Rec_loss: 12265.08 .. NELBO: 12268.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.16 .. NELBO: 5448.19
****************************************************************************************************
Validation loss decreased (10896.408203 --> 10896.395508).  Saving model ...
****************************************************************************************************
Epoch----->25 .. LR: 0.005 .. KL_theta: 2.93 .. Rec_loss: 12265.07 .. NELBO: 12268.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.16 .. NELBO: 5448.19
****************************************************************************************************
Validation loss decreased (10896.395508 --> 10896.387695).  Saving model ...
****************************************************************************************************
Epoch----->26 .. LR: 0.005 .. KL_theta: 2.92 .. Rec_loss: 12265.06 .. NELBO: 12267.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.16 .. NELBO: 5448.2
****************************************************************************************************
Validation loss decreased (10896.387695 --> 10896.380859).  Saving model ...
****************************************************************************************************
Epoch----->27 .. LR: 0.005 .. KL_theta: 2.86 .. Rec_loss: 12265.04 .. NELBO: 12267.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.15 .. NELBO: 5448.18
****************************************************************************************************
Validation loss decreased (10896.380859 --> 10896.370117).  Saving model ...
****************************************************************************************************
Epoch----->28 .. LR: 0.005 .. KL_theta: 2.81 .. Rec_loss: 12265.02 .. NELBO: 12267.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.15 .. NELBO: 5448.18
****************************************************************************************************
Validation loss decreased (10896.370117 --> 10896.353516).  Saving model ...
****************************************************************************************************
Epoch----->29 .. LR: 0.005 .. KL_theta: 2.74 .. Rec_loss: 12265.04 .. NELBO: 12267.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.14 .. NELBO: 5448.16
****************************************************************************************************
Validation loss decreased (10896.353516 --> 10896.333008).  Saving model ...
****************************************************************************************************
Epoch----->30 .. LR: 0.005 .. KL_theta: 2.73 .. Rec_loss: 12265.01 .. NELBO: 12267.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.14 .. NELBO: 5448.17
****************************************************************************************************
Validation loss decreased (10896.333008 --> 10896.330078).  Saving model ...
model: ETM(
  (t_drop): Dropout(p=0.4318874339465485, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=82, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=82, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=82, bias=True)
)
Defaulting to vanilla SGD
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 7.15 .. Rec_loss: 12265.36 .. NELBO: 12272.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.15 .. Rec_loss: 5448.22 .. NELBO: 5448.37
****************************************************************************************************
Validation loss decreased (inf --> 10896.735352).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 3.95 .. Rec_loss: 12265.35 .. NELBO: 12269.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5448.22 .. NELBO: 5448.28
****************************************************************************************************
Validation loss decreased (10896.735352 --> 10896.552734).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 3.88 .. Rec_loss: 12265.37 .. NELBO: 12269.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5448.21 .. NELBO: 5448.29
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 3.92 .. Rec_loss: 12265.32 .. NELBO: 12269.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5448.21 .. NELBO: 5448.29
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 3.77 .. Rec_loss: 12265.31 .. NELBO: 12269.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.21 .. NELBO: 5448.26
****************************************************************************************************
Validation loss decreased (10896.552734 --> 10896.508789).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 3.74 .. Rec_loss: 12265.31 .. NELBO: 12269.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5448.2 .. NELBO: 5448.27
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 3.75 .. Rec_loss: 12265.29 .. NELBO: 12269.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5448.2 .. NELBO: 5448.27
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 3.67 .. Rec_loss: 12265.3 .. NELBO: 12268.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.2 .. NELBO: 5448.25
****************************************************************************************************
Validation loss decreased (10896.508789 --> 10896.491211).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 3.59 .. Rec_loss: 12265.29 .. NELBO: 12268.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.19 .. NELBO: 5448.24
****************************************************************************************************
Validation loss decreased (10896.491211 --> 10896.482422).  Saving model ...
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 3.55 .. Rec_loss: 12265.27 .. NELBO: 12268.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5448.19 .. NELBO: 5448.25
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 3.43 .. Rec_loss: 12265.26 .. NELBO: 12268.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.18 .. NELBO: 5448.23
****************************************************************************************************
Validation loss decreased (10896.482422 --> 10896.473633).  Saving model ...
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 3.43 .. Rec_loss: 12265.25 .. NELBO: 12268.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.18 .. NELBO: 5448.23
****************************************************************************************************
Validation loss decreased (10896.473633 --> 10896.463867).  Saving model ...
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 3.42 .. Rec_loss: 12265.24 .. NELBO: 12268.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5448.18 .. NELBO: 5448.24
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->14 .. LR: 0.005 .. KL_theta: 3.34 .. Rec_loss: 12265.23 .. NELBO: 12268.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.17 .. NELBO: 5448.22
****************************************************************************************************
Validation loss decreased (10896.463867 --> 10896.448242).  Saving model ...
****************************************************************************************************
Epoch----->15 .. LR: 0.005 .. KL_theta: 3.28 .. Rec_loss: 12265.2 .. NELBO: 12268.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.17 .. NELBO: 5448.22
****************************************************************************************************
Validation loss decreased (10896.448242 --> 10896.445312).  Saving model ...
****************************************************************************************************
Epoch----->16 .. LR: 0.005 .. KL_theta: 3.35 .. Rec_loss: 12265.23 .. NELBO: 12268.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.17 .. NELBO: 5448.22
****************************************************************************************************
Validation loss decreased (10896.445312 --> 10896.425781).  Saving model ...
****************************************************************************************************
Epoch----->17 .. LR: 0.005 .. KL_theta: 3.28 .. Rec_loss: 12265.22 .. NELBO: 12268.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.16 .. NELBO: 5448.2
****************************************************************************************************
Validation loss decreased (10896.425781 --> 10896.409180).  Saving model ...
****************************************************************************************************
Epoch----->18 .. LR: 0.005 .. KL_theta: 3.17 .. Rec_loss: 12265.19 .. NELBO: 12268.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.16 .. NELBO: 5448.21
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->19 .. LR: 0.005 .. KL_theta: 3.2 .. Rec_loss: 12265.18 .. NELBO: 12268.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.16 .. NELBO: 5448.2
****************************************************************************************************
Validation loss decreased (10896.409180 --> 10896.394531).  Saving model ...
****************************************************************************************************
Epoch----->20 .. LR: 0.005 .. KL_theta: 3.16 .. Rec_loss: 12265.16 .. NELBO: 12268.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.15 .. NELBO: 5448.2
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->21 .. LR: 0.005 .. KL_theta: 3.1 .. Rec_loss: 12265.18 .. NELBO: 12268.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.15 .. NELBO: 5448.19
****************************************************************************************************
Validation loss decreased (10896.394531 --> 10896.384766).  Saving model ...
****************************************************************************************************
Epoch----->22 .. LR: 0.005 .. KL_theta: 3.07 .. Rec_loss: 12265.14 .. NELBO: 12268.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.14 .. NELBO: 5448.18
****************************************************************************************************
Validation loss decreased (10896.384766 --> 10896.376953).  Saving model ...
****************************************************************************************************
Epoch----->23 .. LR: 0.005 .. KL_theta: 3.06 .. Rec_loss: 12265.15 .. NELBO: 12268.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.14 .. NELBO: 5448.17
****************************************************************************************************
Validation loss decreased (10896.376953 --> 10896.348633).  Saving model ...
****************************************************************************************************
Epoch----->24 .. LR: 0.005 .. KL_theta: 3.0 .. Rec_loss: 12265.13 .. NELBO: 12268.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.14 .. NELBO: 5448.18
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->25 .. LR: 0.005 .. KL_theta: 2.9 .. Rec_loss: 12265.13 .. NELBO: 12268.03
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.13 .. NELBO: 5448.16
****************************************************************************************************
Validation loss decreased (10896.348633 --> 10896.331055).  Saving model ...
****************************************************************************************************
Epoch----->26 .. LR: 0.005 .. KL_theta: 2.83 .. Rec_loss: 12265.09 .. NELBO: 12267.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5448.13 .. NELBO: 5448.15
****************************************************************************************************
Validation loss decreased (10896.331055 --> 10896.306641).  Saving model ...
****************************************************************************************************
Epoch----->27 .. LR: 0.005 .. KL_theta: 2.87 .. Rec_loss: 12265.08 .. NELBO: 12267.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.12 .. NELBO: 5448.15
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->28 .. LR: 0.005 .. KL_theta: 2.84 .. Rec_loss: 12265.06 .. NELBO: 12267.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.12 .. NELBO: 5448.15
****************************************************************************************************
Validation loss decreased (10896.306641 --> 10896.303711).  Saving model ...
****************************************************************************************************
Epoch----->29 .. LR: 0.005 .. KL_theta: 2.81 .. Rec_loss: 12265.09 .. NELBO: 12267.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.12 .. NELBO: 5448.15
****************************************************************************************************
Validation loss decreased (10896.303711 --> 10896.296875).  Saving model ...
****************************************************************************************************
Epoch----->30 .. LR: 0.005 .. KL_theta: 2.75 .. Rec_loss: 12265.05 .. NELBO: 12267.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.11 .. NELBO: 5448.14
****************************************************************************************************
Validation loss decreased (10896.296875 --> 10896.288086).  Saving model ...
model: ETM(
  (t_drop): Dropout(p=0.4318874339465485, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=82, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=82, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=82, bias=True)
)
Defaulting to vanilla SGD
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 6.99 .. Rec_loss: 12265.31 .. NELBO: 12272.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 5448.23 .. NELBO: 5448.34
****************************************************************************************************
Validation loss decreased (inf --> 10896.681641).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 4.13 .. Rec_loss: 12265.34 .. NELBO: 12269.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5448.23 .. NELBO: 5448.3
****************************************************************************************************
Validation loss decreased (10896.681641 --> 10896.605469).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 3.99 .. Rec_loss: 12265.31 .. NELBO: 12269.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5448.23 .. NELBO: 5448.31
****************************************************************************************************
Validation loss decreased (10896.605469 --> 10896.602539).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 3.91 .. Rec_loss: 12265.34 .. NELBO: 12269.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5448.22 .. NELBO: 5448.28
****************************************************************************************************
Validation loss decreased (10896.602539 --> 10896.553711).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 3.8 .. Rec_loss: 12265.31 .. NELBO: 12269.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5448.22 .. NELBO: 5448.29
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 3.71 .. Rec_loss: 12265.28 .. NELBO: 12268.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5448.21 .. NELBO: 5448.27
****************************************************************************************************
Validation loss decreased (10896.553711 --> 10896.542969).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 3.77 .. Rec_loss: 12265.24 .. NELBO: 12269.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5448.21 .. NELBO: 5448.27
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 3.71 .. Rec_loss: 12265.27 .. NELBO: 12268.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.21 .. NELBO: 5448.26
****************************************************************************************************
Validation loss decreased (10896.542969 --> 10896.517578).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 3.64 .. Rec_loss: 12265.23 .. NELBO: 12268.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.2 .. NELBO: 5448.25
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 3.65 .. Rec_loss: 12265.21 .. NELBO: 12268.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.2 .. NELBO: 5448.24
****************************************************************************************************
Validation loss decreased (10896.517578 --> 10896.488281).  Saving model ...
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 3.53 .. Rec_loss: 12265.2 .. NELBO: 12268.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.2 .. NELBO: 5448.25
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 3.45 .. Rec_loss: 12265.22 .. NELBO: 12268.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5448.19 .. NELBO: 5448.25
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 3.41 .. Rec_loss: 12265.23 .. NELBO: 12268.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.19 .. NELBO: 5448.23
****************************************************************************************************
Validation loss decreased (10896.488281 --> 10896.459961).  Saving model ...
****************************************************************************************************
Epoch----->14 .. LR: 0.005 .. KL_theta: 3.38 .. Rec_loss: 12265.22 .. NELBO: 12268.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.19 .. NELBO: 5448.23
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->15 .. LR: 0.005 .. KL_theta: 3.37 .. Rec_loss: 12265.18 .. NELBO: 12268.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5448.18 .. NELBO: 5448.24
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->16 .. LR: 0.005 .. KL_theta: 3.4 .. Rec_loss: 12265.2 .. NELBO: 12268.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.18 .. NELBO: 5448.23
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->17 .. LR: 0.005 .. KL_theta: 3.26 .. Rec_loss: 12265.2 .. NELBO: 12268.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.18 .. NELBO: 5448.22
****************************************************************************************************
Validation loss decreased (10896.459961 --> 10896.431641).  Saving model ...
****************************************************************************************************
Epoch----->18 .. LR: 0.005 .. KL_theta: 3.22 .. Rec_loss: 12265.13 .. NELBO: 12268.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.17 .. NELBO: 5448.22
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->19 .. LR: 0.005 .. KL_theta: 3.21 .. Rec_loss: 12265.17 .. NELBO: 12268.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.17 .. NELBO: 5448.21
****************************************************************************************************
Validation loss decreased (10896.431641 --> 10896.424805).  Saving model ...
****************************************************************************************************
Epoch----->20 .. LR: 0.005 .. KL_theta: 3.14 .. Rec_loss: 12265.14 .. NELBO: 12268.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.16 .. NELBO: 5448.21
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->21 .. LR: 0.005 .. KL_theta: 3.11 .. Rec_loss: 12265.12 .. NELBO: 12268.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.16 .. NELBO: 5448.2
****************************************************************************************************
Validation loss decreased (10896.424805 --> 10896.399414).  Saving model ...
****************************************************************************************************
Epoch----->22 .. LR: 0.005 .. KL_theta: 3.12 .. Rec_loss: 12265.14 .. NELBO: 12268.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.16 .. NELBO: 5448.2
****************************************************************************************************
Validation loss decreased (10896.399414 --> 10896.383789).  Saving model ...
****************************************************************************************************
Epoch----->23 .. LR: 0.005 .. KL_theta: 3.01 .. Rec_loss: 12265.13 .. NELBO: 12268.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.15 .. NELBO: 5448.19
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->24 .. LR: 0.005 .. KL_theta: 3.04 .. Rec_loss: 12265.1 .. NELBO: 12268.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.15 .. NELBO: 5448.19
****************************************************************************************************
Validation loss decreased (10896.383789 --> 10896.370117).  Saving model ...
****************************************************************************************************
Epoch----->25 .. LR: 0.005 .. KL_theta: 3.01 .. Rec_loss: 12265.07 .. NELBO: 12268.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.14 .. NELBO: 5448.17
****************************************************************************************************
Validation loss decreased (10896.370117 --> 10896.357422).  Saving model ...
****************************************************************************************************
Epoch----->26 .. LR: 0.005 .. KL_theta: 2.94 .. Rec_loss: 12265.1 .. NELBO: 12268.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.14 .. NELBO: 5448.18
****************************************************************************************************
Validation loss decreased (10896.357422 --> 10896.355469).  Saving model ...
****************************************************************************************************
Epoch----->27 .. LR: 0.005 .. KL_theta: 2.95 .. Rec_loss: 12265.06 .. NELBO: 12268.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.14 .. NELBO: 5448.18
****************************************************************************************************
Validation loss decreased (10896.355469 --> 10896.350586).  Saving model ...
****************************************************************************************************
Epoch----->28 .. LR: 0.005 .. KL_theta: 2.87 .. Rec_loss: 12265.06 .. NELBO: 12267.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.13 .. NELBO: 5448.16
****************************************************************************************************
Validation loss decreased (10896.350586 --> 10896.324219).  Saving model ...
****************************************************************************************************
Epoch----->29 .. LR: 0.005 .. KL_theta: 2.86 .. Rec_loss: 12265.0 .. NELBO: 12267.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.13 .. NELBO: 5448.16
****************************************************************************************************
Validation loss decreased (10896.324219 --> 10896.317383).  Saving model ...
****************************************************************************************************
Epoch----->30 .. LR: 0.005 .. KL_theta: 2.77 .. Rec_loss: 12265.01 .. NELBO: 12267.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.12 .. NELBO: 5448.15
****************************************************************************************************
Validation loss decreased (10896.317383 --> 10896.308594).  Saving model ...
Current call:  8
model: ETM(
  (t_drop): Dropout(p=0.680435176645138, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=86, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=86, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=86, bias=True)
)
Defaulting to vanilla SGD
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 14.14 .. Rec_loss: 12265.33 .. NELBO: 12279.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.29 .. Rec_loss: 5448.23 .. NELBO: 5448.52
****************************************************************************************************
Validation loss decreased (inf --> 10897.041992).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 11.48 .. Rec_loss: 12265.34 .. NELBO: 12276.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 5448.22 .. NELBO: 5448.44
****************************************************************************************************
Validation loss decreased (10897.041992 --> 10896.883789).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 10.79 .. Rec_loss: 12265.31 .. NELBO: 12276.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.25 .. Rec_loss: 5448.22 .. NELBO: 5448.47
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 10.63 .. Rec_loss: 12265.32 .. NELBO: 12275.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.24 .. Rec_loss: 5448.22 .. NELBO: 5448.46
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 10.19 .. Rec_loss: 12265.32 .. NELBO: 12275.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.19 .. Rec_loss: 5448.22 .. NELBO: 5448.41
****************************************************************************************************
Validation loss decreased (10896.883789 --> 10896.813477).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 9.8 .. Rec_loss: 12265.33 .. NELBO: 12275.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.16 .. Rec_loss: 5448.21 .. NELBO: 5448.37
****************************************************************************************************
Validation loss decreased (10896.813477 --> 10896.747070).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 9.27 .. Rec_loss: 12265.31 .. NELBO: 12274.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.16 .. Rec_loss: 5448.21 .. NELBO: 5448.37
****************************************************************************************************
Validation loss decreased (10896.747070 --> 10896.732422).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 9.07 .. Rec_loss: 12265.27 .. NELBO: 12274.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 5448.21 .. NELBO: 5448.35
****************************************************************************************************
Validation loss decreased (10896.732422 --> 10896.692383).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 8.96 .. Rec_loss: 12265.26 .. NELBO: 12274.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 5448.2 .. NELBO: 5448.34
****************************************************************************************************
Validation loss decreased (10896.692383 --> 10896.689453).  Saving model ...
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 8.3 .. Rec_loss: 12265.27 .. NELBO: 12273.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 5448.2 .. NELBO: 5448.31
****************************************************************************************************
Validation loss decreased (10896.689453 --> 10896.616211).  Saving model ...
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 8.3 .. Rec_loss: 12265.23 .. NELBO: 12273.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 5448.19 .. NELBO: 5448.29
****************************************************************************************************
Validation loss decreased (10896.616211 --> 10896.589844).  Saving model ...
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 7.94 .. Rec_loss: 12265.25 .. NELBO: 12273.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 5448.19 .. NELBO: 5448.31
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 7.59 .. Rec_loss: 12265.23 .. NELBO: 12272.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 5448.19 .. NELBO: 5448.3
****************************************************************************************************
Validation loss decreased (10896.589844 --> 10896.583984).  Saving model ...
****************************************************************************************************
Epoch----->14 .. LR: 0.005 .. KL_theta: 7.44 .. Rec_loss: 12265.23 .. NELBO: 12272.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5448.18 .. NELBO: 5448.27
****************************************************************************************************
Validation loss decreased (10896.583984 --> 10896.556641).  Saving model ...
****************************************************************************************************
Epoch----->15 .. LR: 0.005 .. KL_theta: 7.2 .. Rec_loss: 12265.21 .. NELBO: 12272.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 5448.18 .. NELBO: 5448.28
****************************************************************************************************
Validation loss decreased (10896.556641 --> 10896.553711).  Saving model ...
****************************************************************************************************
Epoch----->16 .. LR: 0.005 .. KL_theta: 6.92 .. Rec_loss: 12265.21 .. NELBO: 12272.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5448.18 .. NELBO: 5448.26
****************************************************************************************************
Validation loss decreased (10896.553711 --> 10896.516602).  Saving model ...
****************************************************************************************************
Epoch----->17 .. LR: 0.005 .. KL_theta: 6.87 .. Rec_loss: 12265.19 .. NELBO: 12272.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5448.17 .. NELBO: 5448.24
****************************************************************************************************
Validation loss decreased (10896.516602 --> 10896.489258).  Saving model ...
****************************************************************************************************
Epoch----->18 .. LR: 0.005 .. KL_theta: 6.59 .. Rec_loss: 12265.17 .. NELBO: 12271.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5448.17 .. NELBO: 5448.26
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->19 .. LR: 0.005 .. KL_theta: 6.3 .. Rec_loss: 12265.14 .. NELBO: 12271.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5448.17 .. NELBO: 5448.25
****************************************************************************************************
Validation loss decreased (10896.489258 --> 10896.485352).  Saving model ...
****************************************************************************************************
Epoch----->20 .. LR: 0.005 .. KL_theta: 6.3 .. Rec_loss: 12265.15 .. NELBO: 12271.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5448.16 .. NELBO: 5448.22
****************************************************************************************************
Validation loss decreased (10896.485352 --> 10896.454102).  Saving model ...
****************************************************************************************************
Epoch----->21 .. LR: 0.005 .. KL_theta: 5.88 .. Rec_loss: 12265.13 .. NELBO: 12271.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5448.16 .. NELBO: 5448.22
****************************************************************************************************
Validation loss decreased (10896.454102 --> 10896.435547).  Saving model ...
****************************************************************************************************
Epoch----->22 .. LR: 0.005 .. KL_theta: 5.77 .. Rec_loss: 12265.15 .. NELBO: 12270.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5448.16 .. NELBO: 5448.22
****************************************************************************************************
Validation loss decreased (10896.435547 --> 10896.432617).  Saving model ...
****************************************************************************************************
Epoch----->23 .. LR: 0.005 .. KL_theta: 5.68 .. Rec_loss: 12265.15 .. NELBO: 12270.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5448.15 .. NELBO: 5448.21
****************************************************************************************************
Validation loss decreased (10896.432617 --> 10896.416016).  Saving model ...
****************************************************************************************************
Epoch----->24 .. LR: 0.005 .. KL_theta: 5.69 .. Rec_loss: 12265.12 .. NELBO: 12270.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5448.15 .. NELBO: 5448.21
****************************************************************************************************
Validation loss decreased (10896.416016 --> 10896.403320).  Saving model ...
****************************************************************************************************
Epoch----->25 .. LR: 0.005 .. KL_theta: 5.41 .. Rec_loss: 12265.14 .. NELBO: 12270.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.14 .. NELBO: 5448.19
****************************************************************************************************
Validation loss decreased (10896.403320 --> 10896.376953).  Saving model ...
****************************************************************************************************
Epoch----->26 .. LR: 0.005 .. KL_theta: 5.19 .. Rec_loss: 12265.12 .. NELBO: 12270.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.14 .. NELBO: 5448.19
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->27 .. LR: 0.005 .. KL_theta: 5.21 .. Rec_loss: 12265.07 .. NELBO: 12270.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.13 .. NELBO: 5448.18
****************************************************************************************************
Validation loss decreased (10896.376953 --> 10896.367188).  Saving model ...
****************************************************************************************************
Epoch----->28 .. LR: 0.005 .. KL_theta: 4.98 .. Rec_loss: 12265.1 .. NELBO: 12270.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.13 .. NELBO: 5448.18
****************************************************************************************************
Validation loss decreased (10896.367188 --> 10896.359375).  Saving model ...
****************************************************************************************************
Epoch----->29 .. LR: 0.005 .. KL_theta: 4.85 .. Rec_loss: 12265.07 .. NELBO: 12269.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.13 .. NELBO: 5448.17
****************************************************************************************************
Validation loss decreased (10896.359375 --> 10896.341797).  Saving model ...
****************************************************************************************************
Epoch----->30 .. LR: 0.005 .. KL_theta: 4.76 .. Rec_loss: 12265.04 .. NELBO: 12269.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.12 .. NELBO: 5448.16
****************************************************************************************************
Validation loss decreased (10896.341797 --> 10896.323242).  Saving model ...
model: ETM(
  (t_drop): Dropout(p=0.680435176645138, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=86, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=86, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=86, bias=True)
)
Defaulting to vanilla SGD
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 15.62 .. Rec_loss: 12265.4 .. NELBO: 12281.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.3 .. Rec_loss: 5448.26 .. NELBO: 5448.56
****************************************************************************************************
Validation loss decreased (inf --> 10897.116211).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 11.08 .. Rec_loss: 12265.34 .. NELBO: 12276.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.26 .. Rec_loss: 5448.26 .. NELBO: 5448.52
****************************************************************************************************
Validation loss decreased (10897.116211 --> 10897.028320).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 10.63 .. Rec_loss: 12265.38 .. NELBO: 12276.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.24 .. Rec_loss: 5448.25 .. NELBO: 5448.49
****************************************************************************************************
Validation loss decreased (10897.028320 --> 10896.996094).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 10.51 .. Rec_loss: 12265.32 .. NELBO: 12275.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.21 .. Rec_loss: 5448.25 .. NELBO: 5448.46
****************************************************************************************************
Validation loss decreased (10896.996094 --> 10896.917969).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 10.11 .. Rec_loss: 12265.36 .. NELBO: 12275.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.19 .. Rec_loss: 5448.25 .. NELBO: 5448.44
****************************************************************************************************
Validation loss decreased (10896.917969 --> 10896.862305).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 9.6 .. Rec_loss: 12265.33 .. NELBO: 12274.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.18 .. Rec_loss: 5448.24 .. NELBO: 5448.42
****************************************************************************************************
Validation loss decreased (10896.862305 --> 10896.843750).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 9.32 .. Rec_loss: 12265.33 .. NELBO: 12274.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.16 .. Rec_loss: 5448.24 .. NELBO: 5448.4
****************************************************************************************************
Validation loss decreased (10896.843750 --> 10896.793945).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 9.04 .. Rec_loss: 12265.3 .. NELBO: 12274.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.15 .. Rec_loss: 5448.24 .. NELBO: 5448.39
****************************************************************************************************
Validation loss decreased (10896.793945 --> 10896.767578).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 8.58 .. Rec_loss: 12265.29 .. NELBO: 12273.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 5448.23 .. NELBO: 5448.37
****************************************************************************************************
Validation loss decreased (10896.767578 --> 10896.752930).  Saving model ...
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 8.46 .. Rec_loss: 12265.28 .. NELBO: 12273.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 5448.23 .. NELBO: 5448.33
****************************************************************************************************
Validation loss decreased (10896.752930 --> 10896.670898).  Saving model ...
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 8.19 .. Rec_loss: 12265.31 .. NELBO: 12273.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 5448.23 .. NELBO: 5448.35
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 7.79 .. Rec_loss: 12265.26 .. NELBO: 12273.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5448.23 .. NELBO: 5448.32
****************************************************************************************************
Validation loss decreased (10896.670898 --> 10896.636719).  Saving model ...
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 7.61 .. Rec_loss: 12265.25 .. NELBO: 12272.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5448.22 .. NELBO: 5448.31
****************************************************************************************************
Validation loss decreased (10896.636719 --> 10896.622070).  Saving model ...
****************************************************************************************************
Epoch----->14 .. LR: 0.005 .. KL_theta: 7.42 .. Rec_loss: 12265.27 .. NELBO: 12272.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5448.22 .. NELBO: 5448.31
****************************************************************************************************
Validation loss decreased (10896.622070 --> 10896.616211).  Saving model ...
****************************************************************************************************
Epoch----->15 .. LR: 0.005 .. KL_theta: 7.22 .. Rec_loss: 12265.26 .. NELBO: 12272.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5448.22 .. NELBO: 5448.31
****************************************************************************************************
Validation loss decreased (10896.616211 --> 10896.604492).  Saving model ...
****************************************************************************************************
Epoch----->16 .. LR: 0.005 .. KL_theta: 7.04 .. Rec_loss: 12265.24 .. NELBO: 12272.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5448.21 .. NELBO: 5448.29
****************************************************************************************************
Validation loss decreased (10896.604492 --> 10896.592773).  Saving model ...
****************************************************************************************************
Epoch----->17 .. LR: 0.005 .. KL_theta: 6.67 .. Rec_loss: 12265.22 .. NELBO: 12271.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5448.21 .. NELBO: 5448.28
****************************************************************************************************
Validation loss decreased (10896.592773 --> 10896.569336).  Saving model ...
****************************************************************************************************
Epoch----->18 .. LR: 0.005 .. KL_theta: 6.33 .. Rec_loss: 12265.23 .. NELBO: 12271.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5448.21 .. NELBO: 5448.29
****************************************************************************************************
Validation loss decreased (10896.569336 --> 10896.568359).  Saving model ...
****************************************************************************************************
Epoch----->19 .. LR: 0.005 .. KL_theta: 6.3 .. Rec_loss: 12265.23 .. NELBO: 12271.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5448.2 .. NELBO: 5448.26
****************************************************************************************************
Validation loss decreased (10896.568359 --> 10896.528320).  Saving model ...
****************************************************************************************************
Epoch----->20 .. LR: 0.005 .. KL_theta: 6.1 .. Rec_loss: 12265.23 .. NELBO: 12271.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5448.2 .. NELBO: 5448.26
****************************************************************************************************
Validation loss decreased (10896.528320 --> 10896.516602).  Saving model ...
****************************************************************************************************
Epoch----->21 .. LR: 0.005 .. KL_theta: 5.92 .. Rec_loss: 12265.22 .. NELBO: 12271.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5448.2 .. NELBO: 5448.26
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->22 .. LR: 0.005 .. KL_theta: 5.76 .. Rec_loss: 12265.21 .. NELBO: 12270.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5448.19 .. NELBO: 5448.25
****************************************************************************************************
Validation loss decreased (10896.516602 --> 10896.499023).  Saving model ...
****************************************************************************************************
Epoch----->23 .. LR: 0.005 .. KL_theta: 5.68 .. Rec_loss: 12265.2 .. NELBO: 12270.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5448.19 .. NELBO: 5448.25
****************************************************************************************************
Validation loss decreased (10896.499023 --> 10896.495117).  Saving model ...
****************************************************************************************************
Epoch----->24 .. LR: 0.005 .. KL_theta: 5.52 .. Rec_loss: 12265.16 .. NELBO: 12270.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.18 .. NELBO: 5448.23
****************************************************************************************************
Validation loss decreased (10896.495117 --> 10896.474609).  Saving model ...
****************************************************************************************************
Epoch----->25 .. LR: 0.005 .. KL_theta: 5.19 .. Rec_loss: 12265.14 .. NELBO: 12270.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.18 .. NELBO: 5448.23
****************************************************************************************************
Validation loss decreased (10896.474609 --> 10896.470703).  Saving model ...
****************************************************************************************************
Epoch----->26 .. LR: 0.005 .. KL_theta: 5.17 .. Rec_loss: 12265.14 .. NELBO: 12270.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.18 .. NELBO: 5448.22
****************************************************************************************************
Validation loss decreased (10896.470703 --> 10896.433594).  Saving model ...
****************************************************************************************************
Epoch----->27 .. LR: 0.005 .. KL_theta: 4.93 .. Rec_loss: 12265.17 .. NELBO: 12270.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.18 .. NELBO: 5448.22
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->28 .. LR: 0.005 .. KL_theta: 4.92 .. Rec_loss: 12265.12 .. NELBO: 12270.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.17 .. NELBO: 5448.21
****************************************************************************************************
Validation loss decreased (10896.433594 --> 10896.425781).  Saving model ...
****************************************************************************************************
Epoch----->29 .. LR: 0.005 .. KL_theta: 4.89 .. Rec_loss: 12265.11 .. NELBO: 12270.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.17 .. NELBO: 5448.21
****************************************************************************************************
Validation loss decreased (10896.425781 --> 10896.417969).  Saving model ...
****************************************************************************************************
Epoch----->30 .. LR: 0.005 .. KL_theta: 4.79 .. Rec_loss: 12265.1 .. NELBO: 12269.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.16 .. NELBO: 5448.2
****************************************************************************************************
Validation loss decreased (10896.417969 --> 10896.403320).  Saving model ...
model: ETM(
  (t_drop): Dropout(p=0.680435176645138, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=86, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=86, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=86, bias=True)
)
Defaulting to vanilla SGD
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 14.73 .. Rec_loss: 12265.35 .. NELBO: 12280.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.31 .. Rec_loss: 5448.25 .. NELBO: 5448.56
****************************************************************************************************
Validation loss decreased (inf --> 10897.110352).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 11.47 .. Rec_loss: 12265.36 .. NELBO: 12276.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.23 .. Rec_loss: 5448.24 .. NELBO: 5448.47
****************************************************************************************************
Validation loss decreased (10897.110352 --> 10896.936523).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 10.82 .. Rec_loss: 12265.29 .. NELBO: 12276.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.2 .. Rec_loss: 5448.24 .. NELBO: 5448.44
****************************************************************************************************
Validation loss decreased (10896.936523 --> 10896.875000).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 10.29 .. Rec_loss: 12265.33 .. NELBO: 12275.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.18 .. Rec_loss: 5448.24 .. NELBO: 5448.42
****************************************************************************************************
Validation loss decreased (10896.875000 --> 10896.839844).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 9.88 .. Rec_loss: 12265.35 .. NELBO: 12275.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.18 .. Rec_loss: 5448.23 .. NELBO: 5448.41
****************************************************************************************************
Validation loss decreased (10896.839844 --> 10896.823242).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 9.74 .. Rec_loss: 12265.32 .. NELBO: 12275.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.16 .. Rec_loss: 5448.23 .. NELBO: 5448.39
****************************************************************************************************
Validation loss decreased (10896.823242 --> 10896.786133).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 9.37 .. Rec_loss: 12265.31 .. NELBO: 12274.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.16 .. Rec_loss: 5448.23 .. NELBO: 5448.39
****************************************************************************************************
Validation loss decreased (10896.786133 --> 10896.765625).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 9.08 .. Rec_loss: 12265.27 .. NELBO: 12274.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 5448.23 .. NELBO: 5448.36
****************************************************************************************************
Validation loss decreased (10896.765625 --> 10896.704102).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 8.71 .. Rec_loss: 12265.27 .. NELBO: 12273.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 5448.22 .. NELBO: 5448.35
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 8.32 .. Rec_loss: 12265.24 .. NELBO: 12273.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.15 .. Rec_loss: 5448.22 .. NELBO: 5448.37
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 8.03 .. Rec_loss: 12265.24 .. NELBO: 12273.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 5448.22 .. NELBO: 5448.33
****************************************************************************************************
Validation loss decreased (10896.704102 --> 10896.652344).  Saving model ...
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 7.69 .. Rec_loss: 12265.26 .. NELBO: 12272.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 5448.21 .. NELBO: 5448.33
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 7.57 .. Rec_loss: 12265.26 .. NELBO: 12272.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5448.21 .. NELBO: 5448.3
****************************************************************************************************
Validation loss decreased (10896.652344 --> 10896.590820).  Saving model ...
****************************************************************************************************
Epoch----->14 .. LR: 0.005 .. KL_theta: 7.26 .. Rec_loss: 12265.22 .. NELBO: 12272.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5448.21 .. NELBO: 5448.29
****************************************************************************************************
Validation loss decreased (10896.590820 --> 10896.566406).  Saving model ...
****************************************************************************************************
Epoch----->15 .. LR: 0.005 .. KL_theta: 7.26 .. Rec_loss: 12265.21 .. NELBO: 12272.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5448.2 .. NELBO: 5448.28
****************************************************************************************************
Validation loss decreased (10896.566406 --> 10896.565430).  Saving model ...
****************************************************************************************************
Epoch----->16 .. LR: 0.005 .. KL_theta: 7.12 .. Rec_loss: 12265.22 .. NELBO: 12272.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5448.2 .. NELBO: 5448.29
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->17 .. LR: 0.005 .. KL_theta: 6.71 .. Rec_loss: 12265.22 .. NELBO: 12271.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5448.2 .. NELBO: 5448.28
****************************************************************************************************
Validation loss decreased (10896.565430 --> 10896.561523).  Saving model ...
****************************************************************************************************
Epoch----->18 .. LR: 0.005 .. KL_theta: 6.63 .. Rec_loss: 12265.17 .. NELBO: 12271.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5448.19 .. NELBO: 5448.26
****************************************************************************************************
Validation loss decreased (10896.561523 --> 10896.531250).  Saving model ...
****************************************************************************************************
Epoch----->19 .. LR: 0.005 .. KL_theta: 6.52 .. Rec_loss: 12265.18 .. NELBO: 12271.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5448.19 .. NELBO: 5448.26
****************************************************************************************************
Validation loss decreased (10896.531250 --> 10896.513672).  Saving model ...
****************************************************************************************************
Epoch----->20 .. LR: 0.005 .. KL_theta: 6.25 .. Rec_loss: 12265.2 .. NELBO: 12271.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5448.19 .. NELBO: 5448.25
****************************************************************************************************
Validation loss decreased (10896.513672 --> 10896.498047).  Saving model ...
****************************************************************************************************
Epoch----->21 .. LR: 0.005 .. KL_theta: 5.95 .. Rec_loss: 12265.12 .. NELBO: 12271.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.18 .. NELBO: 5448.23
****************************************************************************************************
Validation loss decreased (10896.498047 --> 10896.471680).  Saving model ...
****************************************************************************************************
Epoch----->22 .. LR: 0.005 .. KL_theta: 5.69 .. Rec_loss: 12265.14 .. NELBO: 12270.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5448.18 .. NELBO: 5448.24
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->23 .. LR: 0.005 .. KL_theta: 5.78 .. Rec_loss: 12265.14 .. NELBO: 12270.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5448.18 .. NELBO: 5448.24
****************************************************************************************************
Validation loss decreased (10896.471680 --> 10896.461914).  Saving model ...
****************************************************************************************************
Epoch----->24 .. LR: 0.005 .. KL_theta: 5.46 .. Rec_loss: 12265.14 .. NELBO: 12270.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.17 .. NELBO: 5448.22
****************************************************************************************************
Validation loss decreased (10896.461914 --> 10896.437500).  Saving model ...
****************************************************************************************************
Epoch----->25 .. LR: 0.005 .. KL_theta: 5.4 .. Rec_loss: 12265.1 .. NELBO: 12270.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.17 .. NELBO: 5448.22
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->26 .. LR: 0.005 .. KL_theta: 5.26 .. Rec_loss: 12265.13 .. NELBO: 12270.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.16 .. NELBO: 5448.21
****************************************************************************************************
Validation loss decreased (10896.437500 --> 10896.428711).  Saving model ...
****************************************************************************************************
Epoch----->27 .. LR: 0.005 .. KL_theta: 5.22 .. Rec_loss: 12265.08 .. NELBO: 12270.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.16 .. NELBO: 5448.21
****************************************************************************************************
Validation loss decreased (10896.428711 --> 10896.416992).  Saving model ...
****************************************************************************************************
Epoch----->28 .. LR: 0.005 .. KL_theta: 5.0 .. Rec_loss: 12265.1 .. NELBO: 12270.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.16 .. NELBO: 5448.2
****************************************************************************************************
Validation loss decreased (10896.416992 --> 10896.400391).  Saving model ...
****************************************************************************************************
Epoch----->29 .. LR: 0.005 .. KL_theta: 4.84 .. Rec_loss: 12265.06 .. NELBO: 12269.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.15 .. NELBO: 5448.18
****************************************************************************************************
Validation loss decreased (10896.400391 --> 10896.367188).  Saving model ...
****************************************************************************************************
Epoch----->30 .. LR: 0.005 .. KL_theta: 4.66 .. Rec_loss: 12265.03 .. NELBO: 12269.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5448.15 .. NELBO: 5448.18
****************************************************************************************************
Validation loss decreased (10896.367188 --> 10896.367188).  Saving model ...
Current call:  9
model: ETM(
  (t_drop): Dropout(p=0.5074588100032376, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 53.24 .. Rec_loss: 12264.14 .. NELBO: 12317.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 5.66 .. Rec_loss: 5443.9 .. NELBO: 5449.56
****************************************************************************************************
Validation loss decreased (inf --> 10899.112305).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.13 .. Rec_loss: 12246.89 .. NELBO: 12254.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 5430.57 .. NELBO: 5430.67
****************************************************************************************************
Validation loss decreased (10899.112305 --> 10861.350586).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.18 .. Rec_loss: 12203.44 .. NELBO: 12203.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5405.9 .. NELBO: 5405.93
****************************************************************************************************
Validation loss decreased (10861.350586 --> 10811.855469).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12128.24 .. NELBO: 12128.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5371.79 .. NELBO: 5371.81
****************************************************************************************************
Validation loss decreased (10811.855469 --> 10743.608398).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12027.69 .. NELBO: 12027.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.18 .. NELBO: 5335.2
****************************************************************************************************
Validation loss decreased (10743.608398 --> 10670.392578).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11918.54 .. NELBO: 11918.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5307.78 .. NELBO: 5307.8
****************************************************************************************************
Validation loss decreased (10670.392578 --> 10615.599609).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11830.18 .. NELBO: 11830.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5301.39 .. NELBO: 5301.41
****************************************************************************************************
Validation loss decreased (10615.599609 --> 10602.816406).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11785.32 .. NELBO: 11785.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5317.19 .. NELBO: 5317.21
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11783.46 .. NELBO: 11783.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5340.02 .. NELBO: 5340.04
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.19 .. NELBO: 11795.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.7 .. NELBO: 5352.72
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11794.74 .. NELBO: 11794.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.25 .. NELBO: 5352.27
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.39 .. NELBO: 11781.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5345.48 .. NELBO: 5345.5
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.5074588100032376, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 50.66 .. Rec_loss: 12264.03 .. NELBO: 12314.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 5.2 .. Rec_loss: 5443.7 .. NELBO: 5448.9
****************************************************************************************************
Validation loss decreased (inf --> 10897.797852).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 6.49 .. Rec_loss: 12246.98 .. NELBO: 12253.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 5430.54 .. NELBO: 5430.64
****************************************************************************************************
Validation loss decreased (10897.797852 --> 10861.281250).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.17 .. Rec_loss: 12204.27 .. NELBO: 12204.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5406.29 .. NELBO: 5406.32
****************************************************************************************************
Validation loss decreased (10861.281250 --> 10812.630859).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12129.96 .. NELBO: 12130.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5372.67 .. NELBO: 5372.69
****************************************************************************************************
Validation loss decreased (10812.630859 --> 10745.370117).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12031.12 .. NELBO: 12031.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.21 .. NELBO: 5336.23
****************************************************************************************************
Validation loss decreased (10745.370117 --> 10672.451172).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11922.92 .. NELBO: 11922.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5308.27 .. NELBO: 5308.29
****************************************************************************************************
Validation loss decreased (10672.451172 --> 10616.586914).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11833.28 .. NELBO: 11833.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.78 .. NELBO: 5300.8
****************************************************************************************************
Validation loss decreased (10616.586914 --> 10601.606445).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11785.9 .. NELBO: 11785.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5315.79 .. NELBO: 5315.81
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11783.02 .. NELBO: 11783.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5338.81 .. NELBO: 5338.83
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11794.46 .. NELBO: 11794.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.22 .. NELBO: 5352.24
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11794.95 .. NELBO: 11794.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.35 .. NELBO: 5352.37
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.92 .. NELBO: 11781.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5345.79 .. NELBO: 5345.81
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.5074588100032376, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 50.06 .. Rec_loss: 12264.51 .. NELBO: 12314.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 5.44 .. Rec_loss: 5444.14 .. NELBO: 5449.58
****************************************************************************************************
Validation loss decreased (inf --> 10899.159180).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 6.9 .. Rec_loss: 12248.42 .. NELBO: 12255.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5431.69 .. NELBO: 5431.77
****************************************************************************************************
Validation loss decreased (10899.159180 --> 10863.537109).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.15 .. Rec_loss: 12207.68 .. NELBO: 12207.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5408.2 .. NELBO: 5408.23
****************************************************************************************************
Validation loss decreased (10863.537109 --> 10816.449219).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12135.62 .. NELBO: 12135.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5375.16 .. NELBO: 5375.18
****************************************************************************************************
Validation loss decreased (10816.449219 --> 10750.349609).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12038.04 .. NELBO: 12038.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5338.76 .. NELBO: 5338.78
****************************************************************************************************
Validation loss decreased (10750.349609 --> 10677.551758).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11931.27 .. NELBO: 11931.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5309.96 .. NELBO: 5309.98
****************************************************************************************************
Validation loss decreased (10677.551758 --> 10619.948242).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11839.25 .. NELBO: 11839.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.75 .. NELBO: 5300.77
****************************************************************************************************
Validation loss decreased (10619.948242 --> 10601.531250).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11788.83 .. NELBO: 11788.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5314.22 .. NELBO: 5314.24
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11782.4 .. NELBO: 11782.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.08 .. NELBO: 5337.1
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11794.03 .. NELBO: 11794.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.38 .. NELBO: 5351.4
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.32 .. NELBO: 11795.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.34 .. NELBO: 5352.36
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11783.21 .. NELBO: 11783.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.11 .. NELBO: 5346.13
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  10
model: ETM(
  (t_drop): Dropout(p=0.8943756737790783, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 30.95 .. Rec_loss: 12264.01 .. NELBO: 12294.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.32 .. Rec_loss: 5443.77 .. NELBO: 5444.09
****************************************************************************************************
Validation loss decreased (inf --> 10888.186523).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 0.57 .. Rec_loss: 12245.52 .. NELBO: 12246.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5428.98 .. NELBO: 5429.0
****************************************************************************************************
Validation loss decreased (10888.186523 --> 10858.000000).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12197.25 .. NELBO: 12197.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5402.44 .. NELBO: 5402.45
****************************************************************************************************
Validation loss decreased (10858.000000 --> 10804.897461).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12116.87 .. NELBO: 12116.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5367.0 .. NELBO: 5367.01
****************************************************************************************************
Validation loss decreased (10804.897461 --> 10734.024414).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12012.41 .. NELBO: 12012.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5330.55 .. NELBO: 5330.57
****************************************************************************************************
Validation loss decreased (10734.024414 --> 10661.134766).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11904.13 .. NELBO: 11904.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5305.49 .. NELBO: 5305.51
****************************************************************************************************
Validation loss decreased (10661.134766 --> 10611.010742).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11820.3 .. NELBO: 11820.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5302.88 .. NELBO: 5302.91
****************************************************************************************************
Validation loss decreased (10611.010742 --> 10605.813477).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11782.97 .. NELBO: 11783.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5321.31 .. NELBO: 5321.34
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11785.95 .. NELBO: 11786.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5343.43 .. NELBO: 5343.46
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11796.91 .. NELBO: 11796.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5353.46 .. NELBO: 5353.49
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11793.11 .. NELBO: 11793.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5351.1 .. NELBO: 5351.13
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11778.71 .. NELBO: 11778.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5343.84 .. NELBO: 5343.86
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.8943756737790783, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 31.57 .. Rec_loss: 12264.3 .. NELBO: 12295.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.33 .. Rec_loss: 5444.14 .. NELBO: 5444.47
****************************************************************************************************
Validation loss decreased (inf --> 10888.931641).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 0.57 .. Rec_loss: 12246.97 .. NELBO: 12247.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5430.08 .. NELBO: 5430.1
****************************************************************************************************
Validation loss decreased (10888.931641 --> 10860.201172).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12200.85 .. NELBO: 12200.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5404.47 .. NELBO: 5404.48
****************************************************************************************************
Validation loss decreased (10860.201172 --> 10808.963867).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12123.52 .. NELBO: 12123.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5369.8 .. NELBO: 5369.81
****************************************************************************************************
Validation loss decreased (10808.963867 --> 10739.622070).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12021.52 .. NELBO: 12021.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5333.33 .. NELBO: 5333.35
****************************************************************************************************
Validation loss decreased (10739.622070 --> 10666.703125).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11912.94 .. NELBO: 11912.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5306.97 .. NELBO: 5306.99
****************************************************************************************************
Validation loss decreased (10666.703125 --> 10613.985352).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11826.24 .. NELBO: 11826.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5302.05 .. NELBO: 5302.08
****************************************************************************************************
Validation loss decreased (10613.985352 --> 10604.163086).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11784.47 .. NELBO: 11784.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5318.75 .. NELBO: 5318.79
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 11784.5 .. NELBO: 11784.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5341.22 .. NELBO: 5341.26
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 11795.93 .. NELBO: 11796.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5352.79 .. NELBO: 5352.83
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 11793.96 .. NELBO: 11794.03
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5351.5 .. NELBO: 5351.53
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11780.46 .. NELBO: 11780.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5344.49 .. NELBO: 5344.52
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.8943756737790783, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 31.91 .. Rec_loss: 12264.33 .. NELBO: 12296.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.32 .. Rec_loss: 5444.3 .. NELBO: 5444.62
****************************************************************************************************
Validation loss decreased (inf --> 10889.242188).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 0.71 .. Rec_loss: 12247.57 .. NELBO: 12248.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5430.47 .. NELBO: 5430.49
****************************************************************************************************
Validation loss decreased (10889.242188 --> 10860.979492).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12201.77 .. NELBO: 12201.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5404.96 .. NELBO: 5404.97
****************************************************************************************************
Validation loss decreased (10860.979492 --> 10809.939453).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 12123.86 .. NELBO: 12123.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5370.16 .. NELBO: 5370.17
****************************************************************************************************
Validation loss decreased (10809.939453 --> 10740.347656).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 12021.19 .. NELBO: 12021.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5333.46 .. NELBO: 5333.47
****************************************************************************************************
Validation loss decreased (10740.347656 --> 10666.957031).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11912.58 .. NELBO: 11912.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5306.95 .. NELBO: 5306.97
****************************************************************************************************
Validation loss decreased (10666.957031 --> 10613.944336).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11825.26 .. NELBO: 11825.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5302.32 .. NELBO: 5302.34
****************************************************************************************************
Validation loss decreased (10613.944336 --> 10604.694336).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11783.91 .. NELBO: 11783.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5319.67 .. NELBO: 5319.7
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11785.2 .. NELBO: 11785.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5342.33 .. NELBO: 5342.36
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11796.63 .. NELBO: 11796.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5353.51 .. NELBO: 5353.54
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11793.98 .. NELBO: 11794.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5351.77 .. NELBO: 5351.8
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11780.16 .. NELBO: 11780.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5344.55 .. NELBO: 5344.57
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  11
model: ETM(
  (t_drop): Dropout(p=0.6446438739119653, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=94, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=94, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=94, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 37.75 .. Rec_loss: 12263.88 .. NELBO: 12301.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.09 .. Rec_loss: 5443.4 .. NELBO: 5446.49
****************************************************************************************************
Validation loss decreased (inf --> 10892.972656).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 4.51 .. Rec_loss: 12245.17 .. NELBO: 12249.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5429.17 .. NELBO: 5429.21
****************************************************************************************************
Validation loss decreased (10892.972656 --> 10858.415039).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 12199.4 .. NELBO: 12199.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5403.71 .. NELBO: 5403.73
****************************************************************************************************
Validation loss decreased (10858.415039 --> 10807.458008).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12121.81 .. NELBO: 12121.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5369.29 .. NELBO: 5369.31
****************************************************************************************************
Validation loss decreased (10807.458008 --> 10738.620117).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12020.56 .. NELBO: 12020.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5333.08 .. NELBO: 5333.1
****************************************************************************************************
Validation loss decreased (10738.620117 --> 10666.204102).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11912.56 .. NELBO: 11912.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5306.8 .. NELBO: 5306.82
****************************************************************************************************
Validation loss decreased (10666.204102 --> 10613.637695).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11826.53 .. NELBO: 11826.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5301.76 .. NELBO: 5301.78
****************************************************************************************************
Validation loss decreased (10613.637695 --> 10603.556641).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11784.3 .. NELBO: 11784.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5318.36 .. NELBO: 5318.38
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11784.13 .. NELBO: 11784.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5340.88 .. NELBO: 5340.9
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11795.63 .. NELBO: 11795.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.62 .. NELBO: 5352.64
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.68 .. NELBO: 11793.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.56 .. NELBO: 5351.58
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.22 .. NELBO: 11780.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5344.71 .. NELBO: 5344.73
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.6446438739119653, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=94, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=94, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=94, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 38.05 .. Rec_loss: 12264.03 .. NELBO: 12302.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.18 .. Rec_loss: 5443.47 .. NELBO: 5446.65
****************************************************************************************************
Validation loss decreased (inf --> 10893.318359).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 4.66 .. Rec_loss: 12245.18 .. NELBO: 12249.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5428.8 .. NELBO: 5428.84
****************************************************************************************************
Validation loss decreased (10893.318359 --> 10857.684570).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 12198.1 .. NELBO: 12198.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5402.84 .. NELBO: 5402.86
****************************************************************************************************
Validation loss decreased (10857.684570 --> 10805.716797).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12119.73 .. NELBO: 12119.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5368.05 .. NELBO: 5368.07
****************************************************************************************************
Validation loss decreased (10805.716797 --> 10736.144531).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12017.34 .. NELBO: 12017.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5331.88 .. NELBO: 5331.9
****************************************************************************************************
Validation loss decreased (10736.144531 --> 10663.794922).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11910.23 .. NELBO: 11910.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5306.13 .. NELBO: 5306.15
****************************************************************************************************
Validation loss decreased (10663.794922 --> 10612.297852).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11825.18 .. NELBO: 11825.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5301.83 .. NELBO: 5301.85
****************************************************************************************************
Validation loss decreased (10612.297852 --> 10603.697266).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11784.69 .. NELBO: 11784.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5318.73 .. NELBO: 5318.76
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11784.83 .. NELBO: 11784.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5340.92 .. NELBO: 5340.95
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11795.69 .. NELBO: 11795.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5352.25 .. NELBO: 5352.28
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11793.28 .. NELBO: 11793.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.07 .. NELBO: 5351.09
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11779.66 .. NELBO: 11779.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5344.3 .. NELBO: 5344.32
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.6446438739119653, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=94, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=94, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=94, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 32.87 .. Rec_loss: 12264.17 .. NELBO: 12297.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.67 .. Rec_loss: 5443.88 .. NELBO: 5446.55
****************************************************************************************************
Validation loss decreased (inf --> 10893.098633).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 3.94 .. Rec_loss: 12246.7 .. NELBO: 12250.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5429.94 .. NELBO: 5429.97
****************************************************************************************************
Validation loss decreased (10893.098633 --> 10859.942383).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 12201.52 .. NELBO: 12201.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5404.65 .. NELBO: 5404.67
****************************************************************************************************
Validation loss decreased (10859.942383 --> 10809.331055).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12124.83 .. NELBO: 12124.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5370.18 .. NELBO: 5370.2
****************************************************************************************************
Validation loss decreased (10809.331055 --> 10740.393555).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12023.15 .. NELBO: 12023.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5333.68 .. NELBO: 5333.7
****************************************************************************************************
Validation loss decreased (10740.393555 --> 10667.397461).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11914.92 .. NELBO: 11914.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5306.98 .. NELBO: 5307.0
****************************************************************************************************
Validation loss decreased (10667.397461 --> 10614.003906).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11827.81 .. NELBO: 11827.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5301.65 .. NELBO: 5301.67
****************************************************************************************************
Validation loss decreased (10614.003906 --> 10603.356445).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11784.88 .. NELBO: 11784.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5318.22 .. NELBO: 5318.25
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11784.42 .. NELBO: 11784.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5340.81 .. NELBO: 5340.84
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11795.77 .. NELBO: 11795.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5352.59 .. NELBO: 5352.62
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11793.92 .. NELBO: 11793.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.59 .. NELBO: 5351.61
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11779.99 .. NELBO: 11780.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5344.82 .. NELBO: 5344.84
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  12
model: ETM(
  (t_drop): Dropout(p=0.4807929486783931, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=53, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=53, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=53, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.21 .. Rec_loss: 12263.35 .. NELBO: 12263.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.29 .. Rec_loss: 5442.28 .. NELBO: 5442.57
****************************************************************************************************
Validation loss decreased (inf --> 10885.141602).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 2.09 .. Rec_loss: 12240.69 .. NELBO: 12242.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5425.51 .. NELBO: 5425.56
****************************************************************************************************
Validation loss decreased (10885.141602 --> 10851.113281).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 12187.92 .. NELBO: 12188.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 5397.31 .. NELBO: 5397.42
****************************************************************************************************
Validation loss decreased (10851.113281 --> 10794.849609).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.52 .. Rec_loss: 12102.89 .. NELBO: 12103.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.14 .. Rec_loss: 5360.76 .. NELBO: 5361.9
****************************************************************************************************
Validation loss decreased (10794.849609 --> 10723.792969).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 2.78 .. Rec_loss: 11995.53 .. NELBO: 11998.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 5325.99 .. NELBO: 5326.42
****************************************************************************************************
Validation loss decreased (10723.792969 --> 10652.846680).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.66 .. Rec_loss: 11893.43 .. NELBO: 11894.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.52 .. Rec_loss: 5303.38 .. NELBO: 5303.9
****************************************************************************************************
Validation loss decreased (10652.846680 --> 10607.799805).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 1.27 .. Rec_loss: 11814.38 .. NELBO: 11815.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.27 .. Rec_loss: 5302.84 .. NELBO: 5303.11
****************************************************************************************************
Validation loss decreased (10607.799805 --> 10606.216797).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.8 .. Rec_loss: 11781.97 .. NELBO: 11782.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.19 .. Rec_loss: 5320.94 .. NELBO: 5321.13
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.65 .. Rec_loss: 11784.84 .. NELBO: 11785.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.37 .. Rec_loss: 5341.2 .. NELBO: 5341.57
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 1.59 .. Rec_loss: 11792.66 .. NELBO: 11794.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.55 .. Rec_loss: 5348.06 .. NELBO: 5349.61
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 4.84 .. Rec_loss: 11784.21 .. NELBO: 11789.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.91 .. Rec_loss: 5342.61 .. NELBO: 5345.52
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 6.82 .. Rec_loss: 11768.43 .. NELBO: 11775.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.33 .. Rec_loss: 5334.12 .. NELBO: 5337.45
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.4807929486783931, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=53, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=53, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=53, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.16 .. Rec_loss: 12263.19 .. NELBO: 12263.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.66 .. Rec_loss: 5441.91 .. NELBO: 5442.57
****************************************************************************************************
Validation loss decreased (inf --> 10885.139648).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.13 .. Rec_loss: 12239.67 .. NELBO: 12240.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5424.91 .. NELBO: 5424.96
****************************************************************************************************
Validation loss decreased (10885.139648 --> 10849.928711).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.35 .. Rec_loss: 12185.45 .. NELBO: 12185.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.4 .. Rec_loss: 5396.49 .. NELBO: 5396.89
****************************************************************************************************
Validation loss decreased (10849.928711 --> 10793.781250).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.84 .. Rec_loss: 12100.8 .. NELBO: 12101.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.76 .. Rec_loss: 5360.4 .. NELBO: 5361.16
****************************************************************************************************
Validation loss decreased (10793.781250 --> 10722.325195).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 1.98 .. Rec_loss: 11994.69 .. NELBO: 11996.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.41 .. Rec_loss: 5325.16 .. NELBO: 5326.57
****************************************************************************************************
Validation loss decreased (10722.325195 --> 10653.135742).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 1.92 .. Rec_loss: 11890.63 .. NELBO: 11892.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.2 .. Rec_loss: 5303.34 .. NELBO: 5303.54
****************************************************************************************************
Validation loss decreased (10653.135742 --> 10607.088867).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 1.83 .. Rec_loss: 11813.53 .. NELBO: 11815.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5302.9 .. NELBO: 5302.96
****************************************************************************************************
Validation loss decreased (10607.088867 --> 10605.919922).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 11781.51 .. NELBO: 11781.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.48 .. Rec_loss: 5320.99 .. NELBO: 5321.47
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.72 .. Rec_loss: 11784.46 .. NELBO: 11785.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5342.13 .. NELBO: 5342.19
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.46 .. Rec_loss: 11793.8 .. NELBO: 11794.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.86 .. Rec_loss: 5347.73 .. NELBO: 5349.59
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 4.45 .. Rec_loss: 11783.87 .. NELBO: 11788.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.94 .. Rec_loss: 5344.39 .. NELBO: 5346.33
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 3.16 .. Rec_loss: 11769.94 .. NELBO: 11773.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.05 .. Rec_loss: 5337.44 .. NELBO: 5339.49
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.4807929486783931, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=53, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=53, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=53, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.19 .. Rec_loss: 12263.12 .. NELBO: 12263.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 5441.9 .. NELBO: 5442.29
****************************************************************************************************
Validation loss decreased (inf --> 10884.585938).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.35 .. Rec_loss: 12239.75 .. NELBO: 12241.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5424.66 .. NELBO: 5424.7
****************************************************************************************************
Validation loss decreased (10884.585938 --> 10849.403320).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.16 .. Rec_loss: 12184.99 .. NELBO: 12185.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 5395.89 .. NELBO: 5396.03
****************************************************************************************************
Validation loss decreased (10849.403320 --> 10792.053711).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.54 .. Rec_loss: 12098.34 .. NELBO: 12098.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.77 .. Rec_loss: 5359.25 .. NELBO: 5360.02
****************************************************************************************************
Validation loss decreased (10792.053711 --> 10720.037109).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 1.77 .. Rec_loss: 11991.45 .. NELBO: 11993.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.46 .. Rec_loss: 5324.33 .. NELBO: 5324.79
****************************************************************************************************
Validation loss decreased (10720.037109 --> 10649.581055).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.63 .. Rec_loss: 11887.68 .. NELBO: 11888.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 5302.78 .. NELBO: 5302.89
****************************************************************************************************
Validation loss decreased (10649.581055 --> 10605.771484).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.46 .. Rec_loss: 11811.46 .. NELBO: 11811.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.16 .. Rec_loss: 5303.84 .. NELBO: 5304.0
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.42 .. Rec_loss: 11781.67 .. NELBO: 11782.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 5323.33 .. NELBO: 5323.43
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.36 .. Rec_loss: 11786.72 .. NELBO: 11787.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.54 .. Rec_loss: 5342.94 .. NELBO: 5343.48
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 1.04 .. Rec_loss: 11793.82 .. NELBO: 11794.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.47 .. Rec_loss: 5350.31 .. NELBO: 5350.78
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 2.24 .. Rec_loss: 11786.31 .. NELBO: 11788.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.98 .. Rec_loss: 5344.66 .. NELBO: 5346.64
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  13
model: ETM(
  (t_drop): Dropout(p=0.4194886919840992, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=63, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=63, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=63, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 475.94 .. Rec_loss: 12264.74 .. NELBO: 12740.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 12.72 .. Rec_loss: 5445.25 .. NELBO: 5457.97
****************************************************************************************************
Validation loss decreased (inf --> 10915.924805).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 15.82 .. Rec_loss: 12253.61 .. NELBO: 12269.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.63 .. Rec_loss: 5436.59 .. NELBO: 5437.22
****************************************************************************************************
Validation loss decreased (10915.924805 --> 10874.442383).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 1.68 .. Rec_loss: 12224.37 .. NELBO: 12226.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 5418.76 .. NELBO: 5419.15
****************************************************************************************************
Validation loss decreased (10874.442383 --> 10838.299805).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 1.06 .. Rec_loss: 12168.97 .. NELBO: 12170.03
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.18 .. Rec_loss: 5390.98 .. NELBO: 5391.16
****************************************************************************************************
Validation loss decreased (10838.299805 --> 10782.325195).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.44 .. Rec_loss: 12084.06 .. NELBO: 12084.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 5356.29 .. NELBO: 5356.43
****************************************************************************************************
Validation loss decreased (10782.325195 --> 10712.855469).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 11981.04 .. NELBO: 11981.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 5322.62 .. NELBO: 5322.84
****************************************************************************************************
Validation loss decreased (10712.855469 --> 10645.689453).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.62 .. Rec_loss: 11877.54 .. NELBO: 11878.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.35 .. Rec_loss: 5302.17 .. NELBO: 5302.52
****************************************************************************************************
Validation loss decreased (10645.689453 --> 10605.049805).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.72 .. Rec_loss: 11804.43 .. NELBO: 11805.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 5304.56 .. NELBO: 5304.68
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.19 .. Rec_loss: 11776.88 .. NELBO: 11777.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5325.45 .. NELBO: 5325.47
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11785.6 .. NELBO: 11785.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.87 .. NELBO: 5346.89
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.5 .. NELBO: 11796.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5355.21 .. NELBO: 5355.23
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11791.6 .. NELBO: 11791.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.87 .. NELBO: 5351.89
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.4194886919840992, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=63, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=63, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=63, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 581.12 .. Rec_loss: 12265.23 .. NELBO: 12846.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 25.4 .. Rec_loss: 5445.81 .. NELBO: 5471.21
****************************************************************************************************
Validation loss decreased (inf --> 10942.429688).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 37.5 .. Rec_loss: 12255.8 .. NELBO: 12293.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.09 .. Rec_loss: 5438.35 .. NELBO: 5444.44
****************************************************************************************************
Validation loss decreased (10942.429688 --> 10888.883789).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 15.94 .. Rec_loss: 12230.55 .. NELBO: 12246.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 5.03 .. Rec_loss: 5422.66 .. NELBO: 5427.69
****************************************************************************************************
Validation loss decreased (10888.883789 --> 10855.383789).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 11.88 .. Rec_loss: 12181.06 .. NELBO: 12192.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.18 .. Rec_loss: 5397.35 .. NELBO: 5399.53
****************************************************************************************************
Validation loss decreased (10855.383789 --> 10799.056641).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 4.88 .. Rec_loss: 12104.03 .. NELBO: 12108.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.75 .. Rec_loss: 5364.29 .. NELBO: 5365.04
****************************************************************************************************
Validation loss decreased (10799.056641 --> 10730.077148).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 1.75 .. Rec_loss: 12004.22 .. NELBO: 12005.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 5329.99 .. NELBO: 5330.37
****************************************************************************************************
Validation loss decreased (10730.077148 --> 10660.726562).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.91 .. Rec_loss: 11900.06 .. NELBO: 11900.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.2 .. Rec_loss: 5305.58 .. NELBO: 5305.78
****************************************************************************************************
Validation loss decreased (10660.726562 --> 10611.552734).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 11818.17 .. NELBO: 11818.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5302.0 .. NELBO: 5302.08
****************************************************************************************************
Validation loss decreased (10611.552734 --> 10604.171875).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.16 .. Rec_loss: 11779.22 .. NELBO: 11779.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5319.52 .. NELBO: 5319.55
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11782.23 .. NELBO: 11782.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5342.48 .. NELBO: 5342.5
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11794.54 .. NELBO: 11794.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5354.48 .. NELBO: 5354.49
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11794.22 .. NELBO: 11794.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.46 .. NELBO: 5353.47
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11780.72 .. NELBO: 11780.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5346.42 .. NELBO: 5346.43
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.4194886919840992, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=63, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=63, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=63, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 539.94 .. Rec_loss: 12265.0 .. NELBO: 12804.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 15.56 .. Rec_loss: 5445.65 .. NELBO: 5461.21
****************************************************************************************************
Validation loss decreased (inf --> 10922.418945).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 23.0 .. Rec_loss: 12254.5 .. NELBO: 12277.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.84 .. Rec_loss: 5437.02 .. NELBO: 5440.86
****************************************************************************************************
Validation loss decreased (10922.418945 --> 10881.708008).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 9.68 .. Rec_loss: 12225.83 .. NELBO: 12235.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.52 .. Rec_loss: 5420.0 .. NELBO: 5422.52
****************************************************************************************************
Validation loss decreased (10881.708008 --> 10845.033203).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 5.69 .. Rec_loss: 12171.8 .. NELBO: 12177.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.07 .. Rec_loss: 5393.28 .. NELBO: 5394.35
****************************************************************************************************
Validation loss decreased (10845.033203 --> 10788.703125).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 2.42 .. Rec_loss: 12090.22 .. NELBO: 12092.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.42 .. Rec_loss: 5359.46 .. NELBO: 5359.88
****************************************************************************************************
Validation loss decreased (10788.703125 --> 10719.761719).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.94 .. Rec_loss: 11990.11 .. NELBO: 11991.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.19 .. Rec_loss: 5325.69 .. NELBO: 5325.88
****************************************************************************************************
Validation loss decreased (10719.761719 --> 10651.752930).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 11887.14 .. NELBO: 11887.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5303.43 .. NELBO: 5303.52
****************************************************************************************************
Validation loss decreased (10651.752930 --> 10607.041992).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.2 .. Rec_loss: 11808.76 .. NELBO: 11808.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5303.1 .. NELBO: 5303.15
****************************************************************************************************
Validation loss decreased (10607.041992 --> 10606.301758).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 11776.97 .. NELBO: 11777.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5322.92 .. NELBO: 5322.95
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11783.62 .. NELBO: 11783.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5345.62 .. NELBO: 5345.64
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11796.41 .. NELBO: 11796.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5355.76 .. NELBO: 5355.78
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.39 .. NELBO: 11793.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.23 .. NELBO: 5353.25
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11778.85 .. NELBO: 11778.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5345.7 .. NELBO: 5345.72
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  14
model: ETM(
  (t_drop): Dropout(p=0.3979207729305147, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=60, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=60, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=60, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 12263.37 .. NELBO: 12263.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.56 .. Rec_loss: 5442.28 .. NELBO: 5442.84
****************************************************************************************************
Validation loss decreased (inf --> 10885.696289).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.34 .. Rec_loss: 12240.78 .. NELBO: 12242.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5425.46 .. NELBO: 5425.48
****************************************************************************************************
Validation loss decreased (10885.696289 --> 10850.963867).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.15 .. Rec_loss: 12187.45 .. NELBO: 12187.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 5397.19 .. NELBO: 5397.32
****************************************************************************************************
Validation loss decreased (10850.963867 --> 10794.658203).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.26 .. Rec_loss: 12102.67 .. NELBO: 12102.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.34 .. Rec_loss: 5360.88 .. NELBO: 5361.22
****************************************************************************************************
Validation loss decreased (10794.658203 --> 10722.437500).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 1.16 .. Rec_loss: 11996.02 .. NELBO: 11997.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.27 .. Rec_loss: 5325.27 .. NELBO: 5326.54
****************************************************************************************************
Validation loss decreased (10722.437500 --> 10653.072266).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 1.78 .. Rec_loss: 11890.93 .. NELBO: 11892.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 5303.31 .. NELBO: 5303.43
****************************************************************************************************
Validation loss decreased (10653.072266 --> 10606.871094).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 11814.25 .. NELBO: 11814.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5303.34 .. NELBO: 5303.39
****************************************************************************************************
Validation loss decreased (10606.871094 --> 10606.792969).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.2 .. Rec_loss: 11782.04 .. NELBO: 11782.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.15 .. Rec_loss: 5322.38 .. NELBO: 5322.53
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.3 .. Rec_loss: 11786.16 .. NELBO: 11786.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.49 .. Rec_loss: 5342.48 .. NELBO: 5342.97
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 1.22 .. Rec_loss: 11794.16 .. NELBO: 11795.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.23 .. Rec_loss: 5349.74 .. NELBO: 5350.97
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 2.04 .. Rec_loss: 11787.06 .. NELBO: 11789.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.93 .. Rec_loss: 5345.58 .. NELBO: 5347.51
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 5.02 .. Rec_loss: 11770.15 .. NELBO: 11775.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.13 .. Rec_loss: 5337.1 .. NELBO: 5340.23
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.3979207729305147, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=60, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=60, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=60, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.24 .. Rec_loss: 12263.48 .. NELBO: 12263.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 5442.41 .. NELBO: 5442.8
****************************************************************************************************
Validation loss decreased (inf --> 10885.601562).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.79 .. Rec_loss: 12241.56 .. NELBO: 12243.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5425.62 .. NELBO: 5425.67
****************************************************************************************************
Validation loss decreased (10885.601562 --> 10851.340820).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.18 .. Rec_loss: 12188.0 .. NELBO: 12188.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.23 .. Rec_loss: 5397.02 .. NELBO: 5397.25
****************************************************************************************************
Validation loss decreased (10851.340820 --> 10794.508789).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 1.31 .. Rec_loss: 12101.46 .. NELBO: 12102.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.53 .. Rec_loss: 5359.53 .. NELBO: 5362.06
****************************************************************************************************
Validation loss decreased (10794.508789 --> 10724.110352).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 4.58 .. Rec_loss: 11991.92 .. NELBO: 11996.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.39 .. Rec_loss: 5324.86 .. NELBO: 5326.25
****************************************************************************************************
Validation loss decreased (10724.110352 --> 10652.488281).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 2.5 .. Rec_loss: 11888.56 .. NELBO: 11891.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.13 .. Rec_loss: 5302.67 .. NELBO: 5304.8
****************************************************************************************************
Validation loss decreased (10652.488281 --> 10609.609375).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 3.71 .. Rec_loss: 11812.02 .. NELBO: 11815.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.61 .. Rec_loss: 5302.56 .. NELBO: 5303.17
****************************************************************************************************
Validation loss decreased (10609.609375 --> 10606.347656).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 1.71 .. Rec_loss: 11781.34 .. NELBO: 11783.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.17 .. Rec_loss: 5321.23 .. NELBO: 5321.4
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.82 .. Rec_loss: 11784.26 .. NELBO: 11785.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.73 .. Rec_loss: 5340.0 .. NELBO: 5340.73
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 2.14 .. Rec_loss: 11789.95 .. NELBO: 11792.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.19 .. Rec_loss: 5346.54 .. NELBO: 5347.73
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 3.81 .. Rec_loss: 11782.47 .. NELBO: 11786.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.35 .. Rec_loss: 5341.13 .. NELBO: 5343.48
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 5.72 .. Rec_loss: 11765.17 .. NELBO: 11770.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.68 .. Rec_loss: 5332.67 .. NELBO: 5336.35
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.3979207729305147, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=60, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=60, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=60, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.2 .. Rec_loss: 12263.27 .. NELBO: 12263.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.7 .. Rec_loss: 5442.13 .. NELBO: 5442.83
****************************************************************************************************
Validation loss decreased (inf --> 10885.665039).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.47 .. Rec_loss: 12239.9 .. NELBO: 12241.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5424.9 .. NELBO: 5424.95
****************************************************************************************************
Validation loss decreased (10885.665039 --> 10849.893555).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.21 .. Rec_loss: 12185.44 .. NELBO: 12185.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.19 .. Rec_loss: 5396.17 .. NELBO: 5396.36
****************************************************************************************************
Validation loss decreased (10849.893555 --> 10792.721680).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.44 .. Rec_loss: 12099.48 .. NELBO: 12099.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.73 .. Rec_loss: 5359.42 .. NELBO: 5360.15
****************************************************************************************************
Validation loss decreased (10792.721680 --> 10720.300781).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 2.26 .. Rec_loss: 11990.89 .. NELBO: 11993.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.61 .. Rec_loss: 5323.99 .. NELBO: 5325.6
****************************************************************************************************
Validation loss decreased (10720.300781 --> 10651.197266).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 2.08 .. Rec_loss: 11886.09 .. NELBO: 11888.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.26 .. Rec_loss: 5302.96 .. NELBO: 5303.22
****************************************************************************************************
Validation loss decreased (10651.197266 --> 10606.458008).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.79 .. Rec_loss: 11811.43 .. NELBO: 11812.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5303.76 .. NELBO: 5303.83
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.21 .. Rec_loss: 11781.39 .. NELBO: 11781.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.5 .. Rec_loss: 5322.56 .. NELBO: 5323.06
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.93 .. Rec_loss: 11785.64 .. NELBO: 11786.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.17 .. Rec_loss: 5342.87 .. NELBO: 5343.04
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 1.45 .. Rec_loss: 11793.28 .. NELBO: 11794.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.33 .. Rec_loss: 5347.84 .. NELBO: 5350.17
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 3.95 .. Rec_loss: 11783.52 .. NELBO: 11787.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.74 .. Rec_loss: 5344.96 .. NELBO: 5346.7
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  15
model: ETM(
  (t_drop): Dropout(p=0.21864691004094378, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=64, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=64, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=64, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.26 .. Rec_loss: 12263.16 .. NELBO: 12263.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.69 .. Rec_loss: 5441.98 .. NELBO: 5442.67
****************************************************************************************************
Validation loss decreased (inf --> 10885.349609).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.57 .. Rec_loss: 12239.81 .. NELBO: 12241.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5424.82 .. NELBO: 5424.85
****************************************************************************************************
Validation loss decreased (10885.349609 --> 10849.699219).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12185.58 .. NELBO: 12185.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 5396.29 .. NELBO: 5396.41
****************************************************************************************************
Validation loss decreased (10849.699219 --> 10792.820312).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.23 .. Rec_loss: 12100.47 .. NELBO: 12100.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.24 .. Rec_loss: 5360.0 .. NELBO: 5360.24
****************************************************************************************************
Validation loss decreased (10792.820312 --> 10720.473633).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.96 .. Rec_loss: 11993.05 .. NELBO: 11994.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.92 .. Rec_loss: 5324.29 .. NELBO: 5326.21
****************************************************************************************************
Validation loss decreased (10720.473633 --> 10652.421875).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 3.02 .. Rec_loss: 11887.63 .. NELBO: 11890.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.33 .. Rec_loss: 5302.99 .. NELBO: 5303.32
****************************************************************************************************
Validation loss decreased (10652.421875 --> 10606.638672).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.44 .. Rec_loss: 11813.05 .. NELBO: 11813.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5303.34 .. NELBO: 5303.42
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.26 .. Rec_loss: 11781.8 .. NELBO: 11782.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.23 .. Rec_loss: 5322.17 .. NELBO: 5322.4
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.42 .. Rec_loss: 11785.87 .. NELBO: 11786.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.19 .. Rec_loss: 5342.57 .. NELBO: 5342.76
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.69 .. Rec_loss: 11794.05 .. NELBO: 11794.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.59 .. Rec_loss: 5349.01 .. NELBO: 5350.6
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 2.46 .. Rec_loss: 11785.86 .. NELBO: 11788.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.18 .. Rec_loss: 5346.29 .. NELBO: 5347.47
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.21864691004094378, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=64, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=64, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=64, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.27 .. Rec_loss: 12263.53 .. NELBO: 12263.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.51 .. Rec_loss: 5442.72 .. NELBO: 5443.23
****************************************************************************************************
Validation loss decreased (inf --> 10886.461914).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.45 .. Rec_loss: 12242.19 .. NELBO: 12243.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5426.72 .. NELBO: 5426.75
****************************************************************************************************
Validation loss decreased (10886.461914 --> 10853.489258).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12191.43 .. NELBO: 12191.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 5399.41 .. NELBO: 5399.51
****************************************************************************************************
Validation loss decreased (10853.489258 --> 10799.018555).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.2 .. Rec_loss: 12109.36 .. NELBO: 12109.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.27 .. Rec_loss: 5363.71 .. NELBO: 5363.98
****************************************************************************************************
Validation loss decreased (10799.018555 --> 10727.954102).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.99 .. Rec_loss: 12004.03 .. NELBO: 12005.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.29 .. Rec_loss: 5327.81 .. NELBO: 5329.1
****************************************************************************************************
Validation loss decreased (10727.954102 --> 10658.210938).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 1.95 .. Rec_loss: 11897.89 .. NELBO: 11899.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.29 .. Rec_loss: 5304.5 .. NELBO: 5304.79
****************************************************************************************************
Validation loss decreased (10658.210938 --> 10609.567383).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 11818.86 .. NELBO: 11819.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5302.51 .. NELBO: 5302.57
****************************************************************************************************
Validation loss decreased (10609.567383 --> 10605.139648).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.21 .. Rec_loss: 11782.63 .. NELBO: 11782.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5320.21 .. NELBO: 5320.25
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.23 .. Rec_loss: 11784.64 .. NELBO: 11784.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.9 .. Rec_loss: 5340.5 .. NELBO: 5341.4
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 1.33 .. Rec_loss: 11793.18 .. NELBO: 11794.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.9 .. Rec_loss: 5349.56 .. NELBO: 5350.46
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 2.91 .. Rec_loss: 11786.91 .. NELBO: 11789.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.95 .. Rec_loss: 5345.16 .. NELBO: 5348.11
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 5.58 .. Rec_loss: 11770.16 .. NELBO: 11775.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.77 .. Rec_loss: 5340.37 .. NELBO: 5342.14
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.21864691004094378, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=64, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=64, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=64, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.26 .. Rec_loss: 12263.73 .. NELBO: 12263.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.56 .. Rec_loss: 5442.9 .. NELBO: 5443.46
****************************************************************************************************
Validation loss decreased (inf --> 10886.926758).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.54 .. Rec_loss: 12243.15 .. NELBO: 12244.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5427.04 .. NELBO: 5427.05
****************************************************************************************************
Validation loss decreased (10886.926758 --> 10854.103516).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 12192.42 .. NELBO: 12192.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 5399.53 .. NELBO: 5399.66
****************************************************************************************************
Validation loss decreased (10854.103516 --> 10799.306641).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.35 .. Rec_loss: 12109.8 .. NELBO: 12110.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.57 .. Rec_loss: 5363.33 .. NELBO: 5363.9
****************************************************************************************************
Validation loss decreased (10799.306641 --> 10727.807617).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 1.96 .. Rec_loss: 12002.53 .. NELBO: 12004.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.33 .. Rec_loss: 5327.25 .. NELBO: 5328.58
****************************************************************************************************
Validation loss decreased (10727.807617 --> 10657.151367).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 1.79 .. Rec_loss: 11896.84 .. NELBO: 11898.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 5304.02 .. NELBO: 5304.13
****************************************************************************************************
Validation loss decreased (10657.151367 --> 10608.275391).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 11818.35 .. NELBO: 11818.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 5302.46 .. NELBO: 5302.56
****************************************************************************************************
Validation loss decreased (10608.275391 --> 10605.130859).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.29 .. Rec_loss: 11782.85 .. NELBO: 11783.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.17 .. Rec_loss: 5320.88 .. NELBO: 5321.05
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 11785.27 .. NELBO: 11785.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 5341.86 .. NELBO: 5342.24
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.86 .. Rec_loss: 11794.77 .. NELBO: 11795.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.95 .. Rec_loss: 5350.08 .. NELBO: 5351.03
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 1.73 .. Rec_loss: 11788.24 .. NELBO: 11789.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.66 .. Rec_loss: 5346.46 .. NELBO: 5348.12
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 4.38 .. Rec_loss: 11772.45 .. NELBO: 11776.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.55 .. Rec_loss: 5338.46 .. NELBO: 5341.01
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  16
model: ETM(
  (t_drop): Dropout(p=0.17697962896727046, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=71, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=71, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=71, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.29 .. Rec_loss: 12263.45 .. NELBO: 12263.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.8 .. Rec_loss: 5442.62 .. NELBO: 5443.42
****************************************************************************************************
Validation loss decreased (inf --> 10886.834961).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.86 .. Rec_loss: 12241.72 .. NELBO: 12243.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5425.96 .. NELBO: 5426.02
****************************************************************************************************
Validation loss decreased (10886.834961 --> 10852.042969).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.16 .. Rec_loss: 12188.44 .. NELBO: 12188.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.17 .. Rec_loss: 5397.83 .. NELBO: 5398.0
****************************************************************************************************
Validation loss decreased (10852.042969 --> 10795.990234).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.35 .. Rec_loss: 12103.46 .. NELBO: 12103.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.51 .. Rec_loss: 5361.4 .. NELBO: 5361.91
****************************************************************************************************
Validation loss decreased (10795.990234 --> 10723.813477).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 1.58 .. Rec_loss: 11996.17 .. NELBO: 11997.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.91 .. Rec_loss: 5325.68 .. NELBO: 5327.59
****************************************************************************************************
Validation loss decreased (10723.813477 --> 10655.184570).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 2.65 .. Rec_loss: 11890.35 .. NELBO: 11893.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.42 .. Rec_loss: 5303.81 .. NELBO: 5304.23
****************************************************************************************************
Validation loss decreased (10655.184570 --> 10608.466797).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.84 .. Rec_loss: 11814.28 .. NELBO: 11815.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5303.38 .. NELBO: 5303.46
****************************************************************************************************
Validation loss decreased (10608.466797 --> 10606.907227).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.36 .. Rec_loss: 11781.8 .. NELBO: 11782.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.72 .. Rec_loss: 5321.23 .. NELBO: 5321.95
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 1.2 .. Rec_loss: 11784.45 .. NELBO: 11785.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.23 .. Rec_loss: 5341.77 .. NELBO: 5342.0
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 2.05 .. Rec_loss: 11792.15 .. NELBO: 11794.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.21 .. Rec_loss: 5345.94 .. NELBO: 5349.15
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 7.57 .. Rec_loss: 11777.77 .. NELBO: 11785.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.2 .. Rec_loss: 5340.76 .. NELBO: 5344.96
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 7.62 .. Rec_loss: 11764.06 .. NELBO: 11771.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.57 .. Rec_loss: 5338.56 .. NELBO: 5341.13
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.17697962896727046, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=71, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=71, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=71, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.27 .. Rec_loss: 12263.41 .. NELBO: 12263.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.87 .. Rec_loss: 5442.4 .. NELBO: 5443.27
****************************************************************************************************
Validation loss decreased (inf --> 10886.540039).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.49 .. Rec_loss: 12241.33 .. NELBO: 12242.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5425.76 .. NELBO: 5425.78
****************************************************************************************************
Validation loss decreased (10886.540039 --> 10851.573242).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.2 .. Rec_loss: 12188.28 .. NELBO: 12188.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.27 .. Rec_loss: 5397.47 .. NELBO: 5397.74
****************************************************************************************************
Validation loss decreased (10851.573242 --> 10795.477539).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.56 .. Rec_loss: 12103.6 .. NELBO: 12104.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.74 .. Rec_loss: 5360.9 .. NELBO: 5361.64
****************************************************************************************************
Validation loss decreased (10795.477539 --> 10723.262695).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 1.6 .. Rec_loss: 11996.68 .. NELBO: 11998.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.42 .. Rec_loss: 5325.23 .. NELBO: 5326.65
****************************************************************************************************
Validation loss decreased (10723.262695 --> 10653.291992).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 2.11 .. Rec_loss: 11890.41 .. NELBO: 11892.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.3 .. Rec_loss: 5303.18 .. NELBO: 5303.48
****************************************************************************************************
Validation loss decreased (10653.291992 --> 10606.958984).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 1.34 .. Rec_loss: 11813.86 .. NELBO: 11815.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.26 .. Rec_loss: 5302.88 .. NELBO: 5303.14
****************************************************************************************************
Validation loss decreased (10606.958984 --> 10606.298828).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.58 .. Rec_loss: 11781.89 .. NELBO: 11782.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5322.22 .. NELBO: 5322.28
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.27 .. Rec_loss: 11785.94 .. NELBO: 11786.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.97 .. Rec_loss: 5341.34 .. NELBO: 5342.31
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 2.21 .. Rec_loss: 11791.66 .. NELBO: 11793.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.09 .. Rec_loss: 5349.01 .. NELBO: 5350.1
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 2.49 .. Rec_loss: 11785.22 .. NELBO: 11787.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.86 .. Rec_loss: 5342.5 .. NELBO: 5346.36
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 8.02 .. Rec_loss: 11765.61 .. NELBO: 11773.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.99 .. Rec_loss: 5337.56 .. NELBO: 5340.55
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.17697962896727046, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=71, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=71, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=71, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 12263.57 .. NELBO: 12263.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.48 .. Rec_loss: 5442.59 .. NELBO: 5444.07
****************************************************************************************************
Validation loss decreased (inf --> 10888.129883).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.76 .. Rec_loss: 12242.08 .. NELBO: 12243.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5426.43 .. NELBO: 5426.47
****************************************************************************************************
Validation loss decreased (10888.129883 --> 10852.939453).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 12190.36 .. NELBO: 12190.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 5398.55 .. NELBO: 5398.77
****************************************************************************************************
Validation loss decreased (10852.939453 --> 10797.541992).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.37 .. Rec_loss: 12106.49 .. NELBO: 12106.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.75 .. Rec_loss: 5362.37 .. NELBO: 5363.12
****************************************************************************************************
Validation loss decreased (10797.541992 --> 10726.243164).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 3.27 .. Rec_loss: 11999.25 .. NELBO: 12002.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.1 .. Rec_loss: 5326.73 .. NELBO: 5327.83
****************************************************************************************************
Validation loss decreased (10726.243164 --> 10655.662109).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 1.57 .. Rec_loss: 11895.31 .. NELBO: 11896.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.41 .. Rec_loss: 5303.82 .. NELBO: 5304.23
****************************************************************************************************
Validation loss decreased (10655.662109 --> 10608.444336).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 1.06 .. Rec_loss: 11816.41 .. NELBO: 11817.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5302.79 .. NELBO: 5302.88
****************************************************************************************************
Validation loss decreased (10608.444336 --> 10605.764648).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 11782.15 .. NELBO: 11782.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.5 .. Rec_loss: 5321.21 .. NELBO: 5321.71
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.72 .. Rec_loss: 11785.7 .. NELBO: 11786.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5342.61 .. NELBO: 5342.67
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 11795.12 .. NELBO: 11795.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.48 .. Rec_loss: 5350.72 .. NELBO: 5351.2
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 1.26 .. Rec_loss: 11789.05 .. NELBO: 11790.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.52 .. Rec_loss: 5346.76 .. NELBO: 5348.28
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 2.32 .. Rec_loss: 11773.3 .. NELBO: 11775.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.75 .. Rec_loss: 5340.69 .. NELBO: 5341.44
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  17
model: ETM(
  (t_drop): Dropout(p=0.16571100775900224, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=67, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=67, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=67, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1191.41 .. Rec_loss: 12264.66 .. NELBO: 13456.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 32.54 .. Rec_loss: 5445.07 .. NELBO: 5477.61
****************************************************************************************************
Validation loss decreased (inf --> 10955.220703).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 45.39 .. Rec_loss: 12253.56 .. NELBO: 12298.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 16.89 .. Rec_loss: 5437.0 .. NELBO: 5453.89
****************************************************************************************************
Validation loss decreased (10955.220703 --> 10907.790039).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 38.05 .. Rec_loss: 12226.71 .. NELBO: 12264.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 15.33 .. Rec_loss: 5420.11 .. NELBO: 5435.44
****************************************************************************************************
Validation loss decreased (10907.790039 --> 10870.876953).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 30.07 .. Rec_loss: 12173.26 .. NELBO: 12203.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.73 .. Rec_loss: 5394.04 .. NELBO: 5402.77
****************************************************************************************************
Validation loss decreased (10870.876953 --> 10805.546875).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 18.03 .. Rec_loss: 12094.97 .. NELBO: 12113.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 5.96 .. Rec_loss: 5361.02 .. NELBO: 5366.98
****************************************************************************************************
Validation loss decreased (10805.546875 --> 10733.958984).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 13.04 .. Rec_loss: 11996.17 .. NELBO: 12009.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.72 .. Rec_loss: 5327.51 .. NELBO: 5332.23
****************************************************************************************************
Validation loss decreased (10733.958984 --> 10664.477539).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 10.79 .. Rec_loss: 11894.23 .. NELBO: 11905.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.91 .. Rec_loss: 5304.47 .. NELBO: 5308.38
****************************************************************************************************
Validation loss decreased (10664.477539 --> 10616.760742).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 8.51 .. Rec_loss: 11815.48 .. NELBO: 11823.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.19 .. Rec_loss: 5302.04 .. NELBO: 5305.23
****************************************************************************************************
Validation loss decreased (10616.760742 --> 10610.443359).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 6.81 .. Rec_loss: 11779.71 .. NELBO: 11786.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.42 .. Rec_loss: 5319.21 .. NELBO: 5321.63
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 5.27 .. Rec_loss: 11782.55 .. NELBO: 11787.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.71 .. Rec_loss: 5340.21 .. NELBO: 5341.92
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 3.51 .. Rec_loss: 11792.84 .. NELBO: 11796.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.27 .. Rec_loss: 5350.3 .. NELBO: 5351.57
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 2.8 .. Rec_loss: 11790.61 .. NELBO: 11793.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.15 .. Rec_loss: 5348.48 .. NELBO: 5349.63
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 2.66 .. Rec_loss: 11776.5 .. NELBO: 11779.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.18 .. Rec_loss: 5341.53 .. NELBO: 5342.71
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.16571100775900224, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=67, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=67, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=67, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 573.41 .. Rec_loss: 12265.71 .. NELBO: 12839.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 18.05 .. Rec_loss: 5445.25 .. NELBO: 5463.3
****************************************************************************************************
Validation loss decreased (inf --> 10926.587891).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 21.58 .. Rec_loss: 12254.38 .. NELBO: 12275.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.02 .. Rec_loss: 5437.17 .. NELBO: 5439.19
****************************************************************************************************
Validation loss decreased (10926.587891 --> 10878.382812).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 3.86 .. Rec_loss: 12226.91 .. NELBO: 12230.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.98 .. Rec_loss: 5420.12 .. NELBO: 5421.1
****************************************************************************************************
Validation loss decreased (10878.382812 --> 10842.209961).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 1.92 .. Rec_loss: 12173.17 .. NELBO: 12175.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.41 .. Rec_loss: 5393.28 .. NELBO: 5393.69
****************************************************************************************************
Validation loss decreased (10842.209961 --> 10787.382812).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.78 .. Rec_loss: 12091.9 .. NELBO: 12092.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 5359.32 .. NELBO: 5359.54
****************************************************************************************************
Validation loss decreased (10787.382812 --> 10719.064453).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 11990.84 .. NELBO: 11991.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.2 .. Rec_loss: 5325.54 .. NELBO: 5325.74
****************************************************************************************************
Validation loss decreased (10719.064453 --> 10651.462891).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.37 .. Rec_loss: 11888.31 .. NELBO: 11888.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.15 .. Rec_loss: 5303.46 .. NELBO: 5303.61
****************************************************************************************************
Validation loss decreased (10651.462891 --> 10607.225586).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.28 .. Rec_loss: 11811.36 .. NELBO: 11811.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5303.04 .. NELBO: 5303.12
****************************************************************************************************
Validation loss decreased (10607.225586 --> 10606.249023).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 11779.33 .. NELBO: 11779.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5322.07 .. NELBO: 5322.1
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11784.43 .. NELBO: 11784.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5344.0 .. NELBO: 5344.02
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.37 .. NELBO: 11796.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5354.1 .. NELBO: 5354.12
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.95 .. NELBO: 11792.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.93 .. NELBO: 5351.95
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11778.84 .. NELBO: 11778.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5344.8 .. NELBO: 5344.82
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.16571100775900224, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=67, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=67, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=67, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 934.72 .. Rec_loss: 12264.08 .. NELBO: 13198.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 26.21 .. Rec_loss: 5445.06 .. NELBO: 5471.27
****************************************************************************************************
Validation loss decreased (inf --> 10942.530273).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 35.42 .. Rec_loss: 12252.82 .. NELBO: 12288.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 10.02 .. Rec_loss: 5436.39 .. NELBO: 5446.41
****************************************************************************************************
Validation loss decreased (10942.530273 --> 10892.812500).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 22.37 .. Rec_loss: 12223.56 .. NELBO: 12245.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 9.08 .. Rec_loss: 5418.54 .. NELBO: 5427.62
****************************************************************************************************
Validation loss decreased (10892.812500 --> 10855.246094).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 17.88 .. Rec_loss: 12167.12 .. NELBO: 12185.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 5.37 .. Rec_loss: 5390.58 .. NELBO: 5395.95
****************************************************************************************************
Validation loss decreased (10855.246094 --> 10791.909180).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 10.4 .. Rec_loss: 12083.24 .. NELBO: 12093.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.09 .. Rec_loss: 5355.97 .. NELBO: 5359.06
****************************************************************************************************
Validation loss decreased (10791.909180 --> 10718.111328).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 6.24 .. Rec_loss: 11979.52 .. NELBO: 11985.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.93 .. Rec_loss: 5322.68 .. NELBO: 5324.61
****************************************************************************************************
Validation loss decreased (10718.111328 --> 10649.219727).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 3.85 .. Rec_loss: 11878.22 .. NELBO: 11882.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.25 .. Rec_loss: 5302.41 .. NELBO: 5303.66
****************************************************************************************************
Validation loss decreased (10649.219727 --> 10607.317383).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 2.48 .. Rec_loss: 11804.68 .. NELBO: 11807.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.78 .. Rec_loss: 5304.48 .. NELBO: 5305.26
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 1.56 .. Rec_loss: 11777.66 .. NELBO: 11779.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.42 .. Rec_loss: 5324.93 .. NELBO: 5325.35
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.79 .. Rec_loss: 11785.61 .. NELBO: 11786.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.18 .. Rec_loss: 5345.94 .. NELBO: 5346.12
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.35 .. Rec_loss: 11795.91 .. NELBO: 11796.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5354.22 .. NELBO: 5354.29
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 11791.28 .. NELBO: 11791.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5351.01 .. NELBO: 5351.04
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  18
model: ETM(
  (t_drop): Dropout(p=0.13988733439379653, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1179.41 .. Rec_loss: 12265.18 .. NELBO: 13444.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 25.72 .. Rec_loss: 5445.98 .. NELBO: 5471.7
****************************************************************************************************
Validation loss decreased (inf --> 10943.392578).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 32.8 .. Rec_loss: 12255.77 .. NELBO: 12288.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.52 .. Rec_loss: 5438.13 .. NELBO: 5445.65
****************************************************************************************************
Validation loss decreased (10943.392578 --> 10891.310547).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 15.79 .. Rec_loss: 12229.86 .. NELBO: 12245.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 5.5 .. Rec_loss: 5422.04 .. NELBO: 5427.54
****************************************************************************************************
Validation loss decreased (10891.310547 --> 10855.062500).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 10.39 .. Rec_loss: 12178.67 .. NELBO: 12189.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.83 .. Rec_loss: 5396.33 .. NELBO: 5399.16
****************************************************************************************************
Validation loss decreased (10855.062500 --> 10798.334961).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 5.57 .. Rec_loss: 12100.31 .. NELBO: 12105.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.44 .. Rec_loss: 5363.15 .. NELBO: 5364.59
****************************************************************************************************
Validation loss decreased (10798.334961 --> 10729.178711).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 2.76 .. Rec_loss: 12000.98 .. NELBO: 12003.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.71 .. Rec_loss: 5329.11 .. NELBO: 5329.82
****************************************************************************************************
Validation loss decreased (10729.178711 --> 10659.630859).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 1.41 .. Rec_loss: 11897.82 .. NELBO: 11899.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 5305.29 .. NELBO: 5305.68
****************************************************************************************************
Validation loss decreased (10659.630859 --> 10611.374023).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.75 .. Rec_loss: 11816.17 .. NELBO: 11816.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.15 .. Rec_loss: 5302.41 .. NELBO: 5302.56
****************************************************************************************************
Validation loss decreased (10611.374023 --> 10605.126953).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.28 .. Rec_loss: 11779.6 .. NELBO: 11779.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5320.12 .. NELBO: 5320.17
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 11782.51 .. NELBO: 11782.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5342.61 .. NELBO: 5342.64
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11794.98 .. NELBO: 11795.03
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.99 .. NELBO: 5354.01
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.86 .. NELBO: 11793.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.7 .. NELBO: 5352.72
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.78 .. NELBO: 11780.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5345.69 .. NELBO: 5345.71
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.13988733439379653, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1124.76 .. Rec_loss: 12264.49 .. NELBO: 13389.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 18.84 .. Rec_loss: 5445.45 .. NELBO: 5464.29
****************************************************************************************************
Validation loss decreased (inf --> 10928.583008).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 21.86 .. Rec_loss: 12253.76 .. NELBO: 12275.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.65 .. Rec_loss: 5436.87 .. NELBO: 5439.52
****************************************************************************************************
Validation loss decreased (10928.583008 --> 10879.047852).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 5.46 .. Rec_loss: 12225.01 .. NELBO: 12230.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.78 .. Rec_loss: 5419.22 .. NELBO: 5421.0
****************************************************************************************************
Validation loss decreased (10879.047852 --> 10842.008789).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 3.5 .. Rec_loss: 12169.14 .. NELBO: 12172.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.03 .. Rec_loss: 5391.64 .. NELBO: 5392.67
****************************************************************************************************
Validation loss decreased (10842.008789 --> 10785.331055).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 2.14 .. Rec_loss: 12085.8 .. NELBO: 12087.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.76 .. Rec_loss: 5357.07 .. NELBO: 5357.83
****************************************************************************************************
Validation loss decreased (10785.331055 --> 10715.668945).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 1.73 .. Rec_loss: 11982.15 .. NELBO: 11983.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.68 .. Rec_loss: 5323.31 .. NELBO: 5323.99
****************************************************************************************************
Validation loss decreased (10715.668945 --> 10647.972656).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 1.58 .. Rec_loss: 11878.88 .. NELBO: 11880.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.57 .. Rec_loss: 5302.6 .. NELBO: 5303.17
****************************************************************************************************
Validation loss decreased (10647.972656 --> 10606.337891).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 1.17 .. Rec_loss: 11804.64 .. NELBO: 11805.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.35 .. Rec_loss: 5304.66 .. NELBO: 5305.01
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.75 .. Rec_loss: 11777.24 .. NELBO: 11777.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.24 .. Rec_loss: 5325.52 .. NELBO: 5325.76
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.49 .. Rec_loss: 11785.85 .. NELBO: 11786.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.15 .. Rec_loss: 5346.99 .. NELBO: 5347.14
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.32 .. Rec_loss: 11796.66 .. NELBO: 11796.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5355.37 .. NELBO: 5355.46
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.16 .. Rec_loss: 11791.52 .. NELBO: 11791.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5352.03 .. NELBO: 5352.08
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.13988733439379653, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1448.57 .. Rec_loss: 12263.77 .. NELBO: 13712.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 24.57 .. Rec_loss: 5445.49 .. NELBO: 5470.06
****************************************************************************************************
Validation loss decreased (inf --> 10940.107422).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 30.39 .. Rec_loss: 12253.68 .. NELBO: 12284.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.71 .. Rec_loss: 5436.42 .. NELBO: 5444.13
****************************************************************************************************
Validation loss decreased (10940.107422 --> 10888.250000).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 16.87 .. Rec_loss: 12223.82 .. NELBO: 12240.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.35 .. Rec_loss: 5418.78 .. NELBO: 5425.13
****************************************************************************************************
Validation loss decreased (10888.250000 --> 10850.260742).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 11.69 .. Rec_loss: 12168.22 .. NELBO: 12179.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.26 .. Rec_loss: 5391.86 .. NELBO: 5395.12
****************************************************************************************************
Validation loss decreased (10850.260742 --> 10790.249023).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 6.35 .. Rec_loss: 12086.88 .. NELBO: 12093.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.77 .. Rec_loss: 5358.08 .. NELBO: 5359.85
****************************************************************************************************
Validation loss decreased (10790.249023 --> 10719.697266).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 3.55 .. Rec_loss: 11985.3 .. NELBO: 11988.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.95 .. Rec_loss: 5324.74 .. NELBO: 5325.69
****************************************************************************************************
Validation loss decreased (10719.697266 --> 10651.364258).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 1.85 .. Rec_loss: 11883.66 .. NELBO: 11885.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.53 .. Rec_loss: 5303.36 .. NELBO: 5303.89
****************************************************************************************************
Validation loss decreased (10651.364258 --> 10607.782227).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 1.08 .. Rec_loss: 11807.65 .. NELBO: 11808.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.31 .. Rec_loss: 5303.89 .. NELBO: 5304.2
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.61 .. Rec_loss: 11777.43 .. NELBO: 11778.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.18 .. Rec_loss: 5323.78 .. NELBO: 5323.96
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.35 .. Rec_loss: 11784.09 .. NELBO: 11784.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5345.72 .. NELBO: 5345.81
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.17 .. Rec_loss: 11796.3 .. NELBO: 11796.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5355.17 .. NELBO: 5355.21
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 11792.14 .. NELBO: 11792.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5352.51 .. NELBO: 5352.54
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  19
model: ETM(
  (t_drop): Dropout(p=0.09423747931067931, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1332.45 .. Rec_loss: 12264.03 .. NELBO: 13596.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 22.86 .. Rec_loss: 5444.98 .. NELBO: 5467.84
****************************************************************************************************
Validation loss decreased (inf --> 10935.675781).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 27.21 .. Rec_loss: 12252.21 .. NELBO: 12279.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.07 .. Rec_loss: 5435.86 .. NELBO: 5441.93
****************************************************************************************************
Validation loss decreased (10935.675781 --> 10883.862305).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 12.85 .. Rec_loss: 12221.89 .. NELBO: 12234.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 5.95 .. Rec_loss: 5417.78 .. NELBO: 5423.73
****************************************************************************************************
Validation loss decreased (10883.862305 --> 10847.464844).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 11.84 .. Rec_loss: 12165.17 .. NELBO: 12177.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.43 .. Rec_loss: 5389.88 .. NELBO: 5394.31
****************************************************************************************************
Validation loss decreased (10847.464844 --> 10788.611328).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 9.08 .. Rec_loss: 12080.39 .. NELBO: 12089.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.34 .. Rec_loss: 5355.24 .. NELBO: 5358.58
****************************************************************************************************
Validation loss decreased (10788.611328 --> 10717.149414).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 6.79 .. Rec_loss: 11976.77 .. NELBO: 11983.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.63 .. Rec_loss: 5321.94 .. NELBO: 5324.57
****************************************************************************************************
Validation loss decreased (10717.149414 --> 10649.134766).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 5.32 .. Rec_loss: 11875.36 .. NELBO: 11880.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.07 .. Rec_loss: 5302.01 .. NELBO: 5304.08
****************************************************************************************************
Validation loss decreased (10649.134766 --> 10608.147461).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 4.21 .. Rec_loss: 11802.47 .. NELBO: 11806.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.52 .. Rec_loss: 5304.79 .. NELBO: 5306.31
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 2.97 .. Rec_loss: 11776.86 .. NELBO: 11779.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.96 .. Rec_loss: 5325.86 .. NELBO: 5326.82
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 1.84 .. Rec_loss: 11785.64 .. NELBO: 11787.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.52 .. Rec_loss: 5346.73 .. NELBO: 5347.25
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 1.0 .. Rec_loss: 11796.23 .. NELBO: 11797.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.26 .. Rec_loss: 5354.34 .. NELBO: 5354.6
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.49 .. Rec_loss: 11790.0 .. NELBO: 11790.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 5350.72 .. NELBO: 5350.85
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.09423747931067931, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1170.96 .. Rec_loss: 12264.41 .. NELBO: 13435.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 27.73 .. Rec_loss: 5445.58 .. NELBO: 5473.31
****************************************************************************************************
Validation loss decreased (inf --> 10946.617188).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 37.44 .. Rec_loss: 12254.32 .. NELBO: 12291.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 12.14 .. Rec_loss: 5437.29 .. NELBO: 5449.43
****************************************************************************************************
Validation loss decreased (10946.617188 --> 10898.840820).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 27.12 .. Rec_loss: 12226.73 .. NELBO: 12253.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 12.15 .. Rec_loss: 5420.3 .. NELBO: 5432.45
****************************************************************************************************
Validation loss decreased (10898.840820 --> 10864.911133).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 23.78 .. Rec_loss: 12172.36 .. NELBO: 12196.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.01 .. Rec_loss: 5393.77 .. NELBO: 5401.78
****************************************************************************************************
Validation loss decreased (10864.911133 --> 10803.552734).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 15.37 .. Rec_loss: 12091.93 .. NELBO: 12107.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 5.27 .. Rec_loss: 5360.27 .. NELBO: 5365.54
****************************************************************************************************
Validation loss decreased (10803.552734 --> 10731.061523).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 10.52 .. Rec_loss: 11991.12 .. NELBO: 12001.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.58 .. Rec_loss: 5326.59 .. NELBO: 5330.17
****************************************************************************************************
Validation loss decreased (10731.061523 --> 10660.359375).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 6.99 .. Rec_loss: 11889.26 .. NELBO: 11896.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.32 .. Rec_loss: 5303.99 .. NELBO: 5306.31
****************************************************************************************************
Validation loss decreased (10660.359375 --> 10612.606445).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 4.42 .. Rec_loss: 11811.14 .. NELBO: 11815.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.3 .. Rec_loss: 5302.86 .. NELBO: 5304.16
****************************************************************************************************
Validation loss decreased (10612.606445 --> 10608.315430).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 2.38 .. Rec_loss: 11777.84 .. NELBO: 11780.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.6 .. Rec_loss: 5321.83 .. NELBO: 5322.43
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 1.05 .. Rec_loss: 11783.44 .. NELBO: 11784.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.25 .. Rec_loss: 5343.92 .. NELBO: 5344.17
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.59 .. Rec_loss: 11795.21 .. NELBO: 11795.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.21 .. Rec_loss: 5353.77 .. NELBO: 5353.98
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.52 .. Rec_loss: 11792.41 .. NELBO: 11792.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.16 .. Rec_loss: 5351.31 .. NELBO: 5351.47
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.48 .. Rec_loss: 11778.34 .. NELBO: 11778.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.16 .. Rec_loss: 5343.82 .. NELBO: 5343.98
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.09423747931067931, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1492.76 .. Rec_loss: 12264.95 .. NELBO: 13757.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 23.34 .. Rec_loss: 5445.8 .. NELBO: 5469.14
****************************************************************************************************
Validation loss decreased (inf --> 10938.271484).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 28.33 .. Rec_loss: 12254.7 .. NELBO: 12283.03
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.29 .. Rec_loss: 5437.49 .. NELBO: 5443.78
****************************************************************************************************
Validation loss decreased (10938.271484 --> 10887.554688).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 12.8 .. Rec_loss: 12227.1 .. NELBO: 12239.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.65 .. Rec_loss: 5420.36 .. NELBO: 5425.01
****************************************************************************************************
Validation loss decreased (10887.554688 --> 10850.017578).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 8.62 .. Rec_loss: 12172.73 .. NELBO: 12181.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.37 .. Rec_loss: 5393.11 .. NELBO: 5395.48
****************************************************************************************************
Validation loss decreased (10850.017578 --> 10790.960938).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 4.47 .. Rec_loss: 12090.18 .. NELBO: 12094.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.22 .. Rec_loss: 5358.55 .. NELBO: 5359.77
****************************************************************************************************
Validation loss decreased (10790.960938 --> 10719.529297).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 2.25 .. Rec_loss: 11986.93 .. NELBO: 11989.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.57 .. Rec_loss: 5324.42 .. NELBO: 5324.99
****************************************************************************************************
Validation loss decreased (10719.529297 --> 10649.978516).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 1.07 .. Rec_loss: 11882.33 .. NELBO: 11883.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.26 .. Rec_loss: 5302.77 .. NELBO: 5303.03
****************************************************************************************************
Validation loss decreased (10649.978516 --> 10606.069336).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.47 .. Rec_loss: 11806.14 .. NELBO: 11806.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 5303.9 .. NELBO: 5304.02
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.19 .. Rec_loss: 11776.7 .. NELBO: 11776.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5324.72 .. NELBO: 5324.77
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 11784.79 .. NELBO: 11784.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.91 .. NELBO: 5346.93
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11796.79 .. NELBO: 11796.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5355.89 .. NELBO: 5355.91
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.01 .. NELBO: 11793.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.61 .. NELBO: 5352.63
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  20
model: ETM(
  (t_drop): Dropout(p=0.18030799204665593, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=89, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=89, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=89, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1387.84 .. Rec_loss: 12264.69 .. NELBO: 13652.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 24.71 .. Rec_loss: 5446.12 .. NELBO: 5470.83
****************************************************************************************************
Validation loss decreased (inf --> 10941.655273).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 35.39 .. Rec_loss: 12255.94 .. NELBO: 12291.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 10.48 .. Rec_loss: 5438.01 .. NELBO: 5448.49
****************************************************************************************************
Validation loss decreased (10941.655273 --> 10896.983398).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 22.41 .. Rec_loss: 12229.61 .. NELBO: 12252.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.27 .. Rec_loss: 5422.12 .. NELBO: 5430.39
****************************************************************************************************
Validation loss decreased (10896.983398 --> 10860.767578).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 16.28 .. Rec_loss: 12179.12 .. NELBO: 12195.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 5.1 .. Rec_loss: 5396.82 .. NELBO: 5401.92
****************************************************************************************************
Validation loss decreased (10860.767578 --> 10803.835938).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 10.64 .. Rec_loss: 12101.88 .. NELBO: 12112.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.64 .. Rec_loss: 5363.79 .. NELBO: 5367.43
****************************************************************************************************
Validation loss decreased (10803.835938 --> 10734.858398).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 7.91 .. Rec_loss: 12002.7 .. NELBO: 12010.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.66 .. Rec_loss: 5329.64 .. NELBO: 5332.3
****************************************************************************************************
Validation loss decreased (10734.858398 --> 10664.586914).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 5.94 .. Rec_loss: 11898.81 .. NELBO: 11904.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.93 .. Rec_loss: 5305.45 .. NELBO: 5307.38
****************************************************************************************************
Validation loss decreased (10664.586914 --> 10614.757812).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 4.29 .. Rec_loss: 11817.63 .. NELBO: 11821.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.38 .. Rec_loss: 5302.11 .. NELBO: 5303.49
****************************************************************************************************
Validation loss decreased (10614.757812 --> 10606.989258).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 2.98 .. Rec_loss: 11779.47 .. NELBO: 11782.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.9 .. Rec_loss: 5319.7 .. NELBO: 5320.6
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 1.9 .. Rec_loss: 11781.92 .. NELBO: 11783.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.5 .. Rec_loss: 5342.27 .. NELBO: 5342.77
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.94 .. Rec_loss: 11794.79 .. NELBO: 11795.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.24 .. Rec_loss: 5353.58 .. NELBO: 5353.82
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.47 .. Rec_loss: 11793.6 .. NELBO: 11794.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 5352.0 .. NELBO: 5352.12
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.29 .. Rec_loss: 11779.62 .. NELBO: 11779.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 5344.83 .. NELBO: 5344.93
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.18030799204665593, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=89, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=89, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=89, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 864.73 .. Rec_loss: 12263.72 .. NELBO: 13128.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 17.75 .. Rec_loss: 5445.2 .. NELBO: 5462.95
****************************************************************************************************
Validation loss decreased (inf --> 10925.907227).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 21.48 .. Rec_loss: 12252.89 .. NELBO: 12274.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.02 .. Rec_loss: 5436.03 .. NELBO: 5438.05
****************************************************************************************************
Validation loss decreased (10925.907227 --> 10876.101562).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 4.05 .. Rec_loss: 12222.39 .. NELBO: 12226.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.12 .. Rec_loss: 5417.78 .. NELBO: 5418.9
****************************************************************************************************
Validation loss decreased (10876.101562 --> 10837.793945).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 2.37 .. Rec_loss: 12164.82 .. NELBO: 12167.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.62 .. Rec_loss: 5389.68 .. NELBO: 5390.3
****************************************************************************************************
Validation loss decreased (10837.793945 --> 10780.591797).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 1.32 .. Rec_loss: 12079.58 .. NELBO: 12080.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.33 .. Rec_loss: 5354.96 .. NELBO: 5355.29
****************************************************************************************************
Validation loss decreased (10780.591797 --> 10710.569336).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.62 .. Rec_loss: 11976.31 .. NELBO: 11976.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.15 .. Rec_loss: 5321.71 .. NELBO: 5321.86
****************************************************************************************************
Validation loss decreased (10710.569336 --> 10643.712891).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.27 .. Rec_loss: 11874.42 .. NELBO: 11874.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5301.96 .. NELBO: 5302.02
****************************************************************************************************
Validation loss decreased (10643.712891 --> 10604.042969).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 11801.85 .. NELBO: 11801.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5305.12 .. NELBO: 5305.15
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11776.62 .. NELBO: 11776.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5326.71 .. NELBO: 5326.74
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11786.33 .. NELBO: 11786.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5348.1 .. NELBO: 5348.13
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11797.2 .. NELBO: 11797.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5356.01 .. NELBO: 5356.04
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11791.91 .. NELBO: 11791.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.26 .. NELBO: 5352.28
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.18030799204665593, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=89, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=89, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=89, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 803.12 .. Rec_loss: 12264.84 .. NELBO: 13067.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 17.82 .. Rec_loss: 5446.03 .. NELBO: 5463.85
****************************************************************************************************
Validation loss decreased (inf --> 10927.701172).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 21.4 .. Rec_loss: 12255.33 .. NELBO: 12276.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.32 .. Rec_loss: 5437.75 .. NELBO: 5440.07
****************************************************************************************************
Validation loss decreased (10927.701172 --> 10880.149414).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 5.23 .. Rec_loss: 12228.34 .. NELBO: 12233.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.77 .. Rec_loss: 5421.39 .. NELBO: 5423.16
****************************************************************************************************
Validation loss decreased (10880.149414 --> 10846.331055).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 3.73 .. Rec_loss: 12176.38 .. NELBO: 12180.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.01 .. Rec_loss: 5395.3 .. NELBO: 5396.31
****************************************************************************************************
Validation loss decreased (10846.331055 --> 10792.620117).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 2.09 .. Rec_loss: 12096.69 .. NELBO: 12098.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.49 .. Rec_loss: 5361.65 .. NELBO: 5362.14
****************************************************************************************************
Validation loss decreased (10792.620117 --> 10724.291992).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.93 .. Rec_loss: 11995.81 .. NELBO: 11996.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 5327.49 .. NELBO: 5327.71
****************************************************************************************************
Validation loss decreased (10724.291992 --> 10655.414062).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 11892.46 .. NELBO: 11892.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 5304.21 .. NELBO: 5304.31
****************************************************************************************************
Validation loss decreased (10655.414062 --> 10608.624023).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.2 .. Rec_loss: 11812.19 .. NELBO: 11812.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5302.64 .. NELBO: 5302.71
****************************************************************************************************
Validation loss decreased (10608.624023 --> 10605.411133).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 11777.64 .. NELBO: 11777.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5321.77 .. NELBO: 5321.8
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11782.65 .. NELBO: 11782.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5344.8 .. NELBO: 5344.82
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11795.97 .. NELBO: 11796.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5355.78 .. NELBO: 5355.8
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11794.18 .. NELBO: 11794.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.81 .. NELBO: 5353.83
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11779.55 .. NELBO: 11779.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.39 .. NELBO: 5346.41
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  21
model: ETM(
  (t_drop): Dropout(p=0.09780798127510165, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=92, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=92, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=92, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 965.11 .. Rec_loss: 12264.44 .. NELBO: 13229.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 23.13 .. Rec_loss: 5445.63 .. NELBO: 5468.76
****************************************************************************************************
Validation loss decreased (inf --> 10937.512695).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 28.12 .. Rec_loss: 12254.35 .. NELBO: 12282.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.18 .. Rec_loss: 5437.32 .. NELBO: 5441.5
****************************************************************************************************
Validation loss decreased (10937.512695 --> 10882.998047).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 7.97 .. Rec_loss: 12226.65 .. NELBO: 12234.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.5 .. Rec_loss: 5420.61 .. NELBO: 5423.11
****************************************************************************************************
Validation loss decreased (10882.998047 --> 10846.211914).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 4.39 .. Rec_loss: 12173.48 .. NELBO: 12177.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.02 .. Rec_loss: 5394.17 .. NELBO: 5395.19
****************************************************************************************************
Validation loss decreased (10846.211914 --> 10790.398438).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 1.75 .. Rec_loss: 12093.11 .. NELBO: 12094.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.37 .. Rec_loss: 5360.48 .. NELBO: 5360.85
****************************************************************************************************
Validation loss decreased (10790.398438 --> 10721.711914).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.67 .. Rec_loss: 11991.95 .. NELBO: 11992.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.15 .. Rec_loss: 5326.64 .. NELBO: 5326.79
****************************************************************************************************
Validation loss decreased (10721.711914 --> 10653.583984).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.25 .. Rec_loss: 11889.02 .. NELBO: 11889.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5304.08 .. NELBO: 5304.14
****************************************************************************************************
Validation loss decreased (10653.583984 --> 10608.282227).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 11810.62 .. NELBO: 11810.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5303.27 .. NELBO: 5303.31
****************************************************************************************************
Validation loss decreased (10608.282227 --> 10606.623047).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 11777.44 .. NELBO: 11777.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5322.66 .. NELBO: 5322.69
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11783.34 .. NELBO: 11783.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5345.15 .. NELBO: 5345.18
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11795.93 .. NELBO: 11795.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5355.42 .. NELBO: 5355.44
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11793.7 .. NELBO: 11793.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.14 .. NELBO: 5353.16
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11779.08 .. NELBO: 11779.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5345.74 .. NELBO: 5345.76
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.09780798127510165, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=92, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=92, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=92, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1185.76 .. Rec_loss: 12264.72 .. NELBO: 13450.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 23.95 .. Rec_loss: 5445.79 .. NELBO: 5469.74
****************************************************************************************************
Validation loss decreased (inf --> 10939.489258).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 29.71 .. Rec_loss: 12254.56 .. NELBO: 12284.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.36 .. Rec_loss: 5437.5 .. NELBO: 5443.86
****************************************************************************************************
Validation loss decreased (10939.489258 --> 10887.713867).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 13.16 .. Rec_loss: 12227.0 .. NELBO: 12240.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 5.33 .. Rec_loss: 5420.48 .. NELBO: 5425.81
****************************************************************************************************
Validation loss decreased (10887.713867 --> 10851.633789).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 10.63 .. Rec_loss: 12172.56 .. NELBO: 12183.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.76 .. Rec_loss: 5393.45 .. NELBO: 5397.21
****************************************************************************************************
Validation loss decreased (10851.633789 --> 10794.419922).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 7.49 .. Rec_loss: 12090.01 .. NELBO: 12097.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.69 .. Rec_loss: 5359.12 .. NELBO: 5361.81
****************************************************************************************************
Validation loss decreased (10794.419922 --> 10723.608398).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 5.57 .. Rec_loss: 11987.3 .. NELBO: 11992.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.98 .. Rec_loss: 5325.04 .. NELBO: 5327.02
****************************************************************************************************
Validation loss decreased (10723.608398 --> 10654.046875).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 4.1 .. Rec_loss: 11883.31 .. NELBO: 11887.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.42 .. Rec_loss: 5303.18 .. NELBO: 5304.6
****************************************************************************************************
Validation loss decreased (10654.046875 --> 10609.216797).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 2.94 .. Rec_loss: 11806.24 .. NELBO: 11809.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.03 .. Rec_loss: 5303.93 .. NELBO: 5304.96
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 2.14 .. Rec_loss: 11776.35 .. NELBO: 11778.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.75 .. Rec_loss: 5324.49 .. NELBO: 5325.24
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 1.5 .. Rec_loss: 11784.54 .. NELBO: 11786.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.52 .. Rec_loss: 5346.61 .. NELBO: 5347.13
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 1.07 .. Rec_loss: 11796.03 .. NELBO: 11797.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.35 .. Rec_loss: 5355.65 .. NELBO: 5356.0
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.72 .. Rec_loss: 11792.37 .. NELBO: 11793.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.23 .. Rec_loss: 5352.4 .. NELBO: 5352.63
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.09780798127510165, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=92, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=92, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=92, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1175.23 .. Rec_loss: 12264.47 .. NELBO: 13439.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 20.9 .. Rec_loss: 5446.01 .. NELBO: 5466.91
****************************************************************************************************
Validation loss decreased (inf --> 10933.830078).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 24.0 .. Rec_loss: 12254.96 .. NELBO: 12278.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.07 .. Rec_loss: 5437.76 .. NELBO: 5440.83
****************************************************************************************************
Validation loss decreased (10933.830078 --> 10881.666992).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 6.23 .. Rec_loss: 12227.84 .. NELBO: 12234.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.05 .. Rec_loss: 5420.96 .. NELBO: 5423.01
****************************************************************************************************
Validation loss decreased (10881.666992 --> 10846.016602).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 3.84 .. Rec_loss: 12174.33 .. NELBO: 12178.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.12 .. Rec_loss: 5394.19 .. NELBO: 5395.31
****************************************************************************************************
Validation loss decreased (10846.016602 --> 10790.625000).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 2.25 .. Rec_loss: 12092.54 .. NELBO: 12094.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.8 .. Rec_loss: 5359.95 .. NELBO: 5360.75
****************************************************************************************************
Validation loss decreased (10790.625000 --> 10721.508789).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 1.69 .. Rec_loss: 11990.01 .. NELBO: 11991.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.62 .. Rec_loss: 5325.69 .. NELBO: 5326.31
****************************************************************************************************
Validation loss decreased (10721.508789 --> 10652.607422).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 1.36 .. Rec_loss: 11884.6 .. NELBO: 11885.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.64 .. Rec_loss: 5303.47 .. NELBO: 5304.11
****************************************************************************************************
Validation loss decreased (10652.607422 --> 10608.222656).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 1.41 .. Rec_loss: 11806.78 .. NELBO: 11808.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.47 .. Rec_loss: 5303.96 .. NELBO: 5304.43
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.9 .. Rec_loss: 11776.12 .. NELBO: 11777.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.24 .. Rec_loss: 5324.35 .. NELBO: 5324.59
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 11784.08 .. NELBO: 11784.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.17 .. Rec_loss: 5346.69 .. NELBO: 5346.86
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.32 .. Rec_loss: 11796.69 .. NELBO: 11797.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 5356.2 .. NELBO: 5356.31
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.19 .. Rec_loss: 11793.2 .. NELBO: 11793.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5353.26 .. NELBO: 5353.32
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  22
model: ETM(
  (t_drop): Dropout(p=0.13490200785420678, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=87, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=87, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=87, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 955.73 .. Rec_loss: 12264.06 .. NELBO: 13219.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 22.0 .. Rec_loss: 5445.64 .. NELBO: 5467.64
****************************************************************************************************
Validation loss decreased (inf --> 10935.290039).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 26.17 .. Rec_loss: 12253.83 .. NELBO: 12280.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.21 .. Rec_loss: 5436.69 .. NELBO: 5439.9
****************************************************************************************************
Validation loss decreased (10935.290039 --> 10879.794922).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 6.41 .. Rec_loss: 12224.41 .. NELBO: 12230.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.05 .. Rec_loss: 5419.29 .. NELBO: 5421.34
****************************************************************************************************
Validation loss decreased (10879.794922 --> 10842.694336).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 3.96 .. Rec_loss: 12169.26 .. NELBO: 12173.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.06 .. Rec_loss: 5392.15 .. NELBO: 5393.21
****************************************************************************************************
Validation loss decreased (10842.694336 --> 10786.412109).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 2.08 .. Rec_loss: 12086.52 .. NELBO: 12088.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.56 .. Rec_loss: 5358.02 .. NELBO: 5358.58
****************************************************************************************************
Validation loss decreased (10786.412109 --> 10717.166016).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 1.01 .. Rec_loss: 11984.57 .. NELBO: 11985.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.29 .. Rec_loss: 5324.45 .. NELBO: 5324.74
****************************************************************************************************
Validation loss decreased (10717.166016 --> 10649.491211).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.6 .. Rec_loss: 11882.12 .. NELBO: 11882.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.2 .. Rec_loss: 5303.17 .. NELBO: 5303.37
****************************************************************************************************
Validation loss decreased (10649.491211 --> 10606.740234).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.4 .. Rec_loss: 11806.22 .. NELBO: 11806.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5304.17 .. NELBO: 5304.26
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.16 .. Rec_loss: 11777.17 .. NELBO: 11777.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5324.53 .. NELBO: 5324.57
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 11784.61 .. NELBO: 11784.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5346.53 .. NELBO: 5346.56
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11796.81 .. NELBO: 11796.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5355.65 .. NELBO: 5355.67
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11792.65 .. NELBO: 11792.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.61 .. NELBO: 5352.63
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.13490200785420678, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=87, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=87, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=87, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1100.94 .. Rec_loss: 12264.28 .. NELBO: 13365.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 20.76 .. Rec_loss: 5445.3 .. NELBO: 5466.06
****************************************************************************************************
Validation loss decreased (inf --> 10932.126953).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 25.93 .. Rec_loss: 12253.51 .. NELBO: 12279.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.84 .. Rec_loss: 5436.46 .. NELBO: 5441.3
****************************************************************************************************
Validation loss decreased (10932.126953 --> 10882.591797).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 10.02 .. Rec_loss: 12223.97 .. NELBO: 12233.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.06 .. Rec_loss: 5418.81 .. NELBO: 5421.87
****************************************************************************************************
Validation loss decreased (10882.591797 --> 10843.724609).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 5.9 .. Rec_loss: 12168.44 .. NELBO: 12174.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.59 .. Rec_loss: 5391.45 .. NELBO: 5393.04
****************************************************************************************************
Validation loss decreased (10843.724609 --> 10786.069336).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 3.09 .. Rec_loss: 12086.39 .. NELBO: 12089.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.82 .. Rec_loss: 5357.32 .. NELBO: 5358.14
****************************************************************************************************
Validation loss decreased (10786.069336 --> 10716.291016).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 1.67 .. Rec_loss: 11984.29 .. NELBO: 11985.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.48 .. Rec_loss: 5323.92 .. NELBO: 5324.4
****************************************************************************************************
Validation loss decreased (10716.291016 --> 10648.808594).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.97 .. Rec_loss: 11882.63 .. NELBO: 11883.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.28 .. Rec_loss: 5302.81 .. NELBO: 5303.09
****************************************************************************************************
Validation loss decreased (10648.808594 --> 10606.195312).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.52 .. Rec_loss: 11807.46 .. NELBO: 11807.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 5303.66 .. NELBO: 5303.78
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.21 .. Rec_loss: 11777.83 .. NELBO: 11778.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5323.52 .. NELBO: 5323.57
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 11784.73 .. NELBO: 11784.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5345.17 .. NELBO: 5345.2
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11796.17 .. NELBO: 11796.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5354.51 .. NELBO: 5354.53
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.31 .. NELBO: 11792.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.94 .. NELBO: 5351.96
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.13490200785420678, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=87, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=87, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=87, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1039.62 .. Rec_loss: 12264.11 .. NELBO: 13303.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 21.19 .. Rec_loss: 5445.58 .. NELBO: 5466.77
****************************************************************************************************
Validation loss decreased (inf --> 10933.553711).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 26.15 .. Rec_loss: 12253.9 .. NELBO: 12280.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.53 .. Rec_loss: 5436.69 .. NELBO: 5441.22
****************************************************************************************************
Validation loss decreased (10933.553711 --> 10882.450195).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 9.25 .. Rec_loss: 12225.08 .. NELBO: 12234.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.23 .. Rec_loss: 5418.96 .. NELBO: 5422.19
****************************************************************************************************
Validation loss decreased (10882.450195 --> 10844.378906).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 6.31 .. Rec_loss: 12168.68 .. NELBO: 12174.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.88 .. Rec_loss: 5391.24 .. NELBO: 5393.12
****************************************************************************************************
Validation loss decreased (10844.378906 --> 10786.239258).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 3.92 .. Rec_loss: 12084.72 .. NELBO: 12088.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.22 .. Rec_loss: 5356.55 .. NELBO: 5357.77
****************************************************************************************************
Validation loss decreased (10786.239258 --> 10715.538086).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 2.59 .. Rec_loss: 11981.1 .. NELBO: 11983.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.96 .. Rec_loss: 5322.81 .. NELBO: 5323.77
****************************************************************************************************
Validation loss decreased (10715.538086 --> 10647.548828).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 2.09 .. Rec_loss: 11878.09 .. NELBO: 11880.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.77 .. Rec_loss: 5302.21 .. NELBO: 5302.98
****************************************************************************************************
Validation loss decreased (10647.548828 --> 10605.948242).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 1.63 .. Rec_loss: 11803.95 .. NELBO: 11805.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.55 .. Rec_loss: 5304.52 .. NELBO: 5305.07
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 1.18 .. Rec_loss: 11777.0 .. NELBO: 11778.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.4 .. Rec_loss: 5325.66 .. NELBO: 5326.06
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.87 .. Rec_loss: 11785.8 .. NELBO: 11786.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.29 .. Rec_loss: 5347.31 .. NELBO: 5347.6
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.56 .. Rec_loss: 11797.0 .. NELBO: 11797.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.19 .. Rec_loss: 5355.69 .. NELBO: 5355.88
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 11791.74 .. NELBO: 11792.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 5352.18 .. NELBO: 5352.31
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  23
model: ETM(
  (t_drop): Dropout(p=0.2722125703068634, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=91, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=91, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=91, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 776.35 .. Rec_loss: 12264.87 .. NELBO: 13041.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 17.0 .. Rec_loss: 5445.93 .. NELBO: 5462.93
****************************************************************************************************
Validation loss decreased (inf --> 10925.859375).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 22.45 .. Rec_loss: 12255.47 .. NELBO: 12277.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.98 .. Rec_loss: 5438.03 .. NELBO: 5441.01
****************************************************************************************************
Validation loss decreased (10925.859375 --> 10882.019531).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 6.95 .. Rec_loss: 12228.8 .. NELBO: 12235.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.23 .. Rec_loss: 5421.57 .. NELBO: 5423.8
****************************************************************************************************
Validation loss decreased (10882.019531 --> 10847.599609).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 4.97 .. Rec_loss: 12176.16 .. NELBO: 12181.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.36 .. Rec_loss: 5395.15 .. NELBO: 5396.51
****************************************************************************************************
Validation loss decreased (10847.599609 --> 10793.002930).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 3.27 .. Rec_loss: 12095.58 .. NELBO: 12098.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.77 .. Rec_loss: 5361.16 .. NELBO: 5361.93
****************************************************************************************************
Validation loss decreased (10793.002930 --> 10723.858398).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 1.91 .. Rec_loss: 11993.95 .. NELBO: 11995.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.41 .. Rec_loss: 5326.88 .. NELBO: 5327.29
****************************************************************************************************
Validation loss decreased (10723.858398 --> 10654.572266).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.92 .. Rec_loss: 11889.8 .. NELBO: 11890.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.19 .. Rec_loss: 5304.02 .. NELBO: 5304.21
****************************************************************************************************
Validation loss decreased (10654.572266 --> 10608.420898).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.42 .. Rec_loss: 11810.57 .. NELBO: 11810.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5303.33 .. NELBO: 5303.42
****************************************************************************************************
Validation loss decreased (10608.420898 --> 10606.845703).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.18 .. Rec_loss: 11777.56 .. NELBO: 11777.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5323.17 .. NELBO: 5323.22
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 11784.41 .. NELBO: 11784.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5345.9 .. NELBO: 5345.93
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11796.95 .. NELBO: 11797.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5355.96 .. NELBO: 5355.98
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11793.71 .. NELBO: 11793.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.3 .. NELBO: 5353.32
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11778.76 .. NELBO: 11778.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5345.67 .. NELBO: 5345.69
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.2722125703068634, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=91, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=91, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=91, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 889.95 .. Rec_loss: 12264.87 .. NELBO: 13154.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 17.19 .. Rec_loss: 5445.35 .. NELBO: 5462.54
****************************************************************************************************
Validation loss decreased (inf --> 10925.095703).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 19.82 .. Rec_loss: 12253.08 .. NELBO: 12272.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.69 .. Rec_loss: 5436.15 .. NELBO: 5436.84
****************************************************************************************************
Validation loss decreased (10925.095703 --> 10873.685547).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 1.45 .. Rec_loss: 12222.4 .. NELBO: 12223.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.42 .. Rec_loss: 5417.83 .. NELBO: 5418.25
****************************************************************************************************
Validation loss decreased (10873.685547 --> 10836.505859).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.79 .. Rec_loss: 12164.59 .. NELBO: 12165.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.18 .. Rec_loss: 5389.42 .. NELBO: 5389.6
****************************************************************************************************
Validation loss decreased (10836.505859 --> 10779.188477).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.35 .. Rec_loss: 12078.16 .. NELBO: 12078.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5354.31 .. NELBO: 5354.4
****************************************************************************************************
Validation loss decreased (10779.188477 --> 10708.807617).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.19 .. Rec_loss: 11973.46 .. NELBO: 11973.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5320.92 .. NELBO: 5320.99
****************************************************************************************************
Validation loss decreased (10708.807617 --> 10641.987305).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.15 .. Rec_loss: 11871.24 .. NELBO: 11871.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5301.64 .. NELBO: 5301.72
****************************************************************************************************
Validation loss decreased (10641.987305 --> 10603.436523).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.18 .. Rec_loss: 11799.8 .. NELBO: 11799.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5305.86 .. NELBO: 5305.95
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.18 .. Rec_loss: 11777.04 .. NELBO: 11777.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5328.05 .. NELBO: 5328.11
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 11787.53 .. NELBO: 11787.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5348.91 .. NELBO: 5348.94
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 11797.7 .. NELBO: 11797.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5355.86 .. NELBO: 5355.89
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11791.22 .. NELBO: 11791.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5351.56 .. NELBO: 5351.59
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.2722125703068634, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=91, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=91, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=91, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 838.83 .. Rec_loss: 12264.9 .. NELBO: 13103.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 19.42 .. Rec_loss: 5445.64 .. NELBO: 5465.06
****************************************************************************************************
Validation loss decreased (inf --> 10930.107422).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 24.14 .. Rec_loss: 12254.43 .. NELBO: 12278.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.35 .. Rec_loss: 5437.2 .. NELBO: 5439.55
****************************************************************************************************
Validation loss decreased (10930.107422 --> 10879.092773).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 5.36 .. Rec_loss: 12226.55 .. NELBO: 12231.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.47 .. Rec_loss: 5420.09 .. NELBO: 5421.56
****************************************************************************************************
Validation loss decreased (10879.092773 --> 10843.113281).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 3.02 .. Rec_loss: 12172.68 .. NELBO: 12175.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.62 .. Rec_loss: 5393.17 .. NELBO: 5393.79
****************************************************************************************************
Validation loss decreased (10843.113281 --> 10787.591797).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 1.4 .. Rec_loss: 12091.11 .. NELBO: 12092.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.3 .. Rec_loss: 5359.04 .. NELBO: 5359.34
****************************************************************************************************
Validation loss decreased (10787.591797 --> 10718.675781).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.64 .. Rec_loss: 11989.12 .. NELBO: 11989.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 5325.09 .. NELBO: 5325.23
****************************************************************************************************
Validation loss decreased (10718.675781 --> 10650.473633).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.28 .. Rec_loss: 11886.46 .. NELBO: 11886.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5303.08 .. NELBO: 5303.15
****************************************************************************************************
Validation loss decreased (10650.473633 --> 10606.306641).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.15 .. Rec_loss: 11808.95 .. NELBO: 11809.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5303.29 .. NELBO: 5303.34
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 11777.33 .. NELBO: 11777.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5323.36 .. NELBO: 5323.4
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 11784.3 .. NELBO: 11784.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5345.7 .. NELBO: 5345.73
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11796.19 .. NELBO: 11796.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5355.46 .. NELBO: 5355.49
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11792.69 .. NELBO: 11792.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.86 .. NELBO: 5352.88
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  24
model: ETM(
  (t_drop): Dropout(p=0.1936374344557168, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=90, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=90, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=90, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1100.01 .. Rec_loss: 12264.27 .. NELBO: 13364.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 22.77 .. Rec_loss: 5445.72 .. NELBO: 5468.49
****************************************************************************************************
Validation loss decreased (inf --> 10936.992188).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 30.72 .. Rec_loss: 12254.32 .. NELBO: 12285.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.25 .. Rec_loss: 5436.88 .. NELBO: 5443.13
****************************************************************************************************
Validation loss decreased (10936.992188 --> 10886.265625).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 13.79 .. Rec_loss: 12225.19 .. NELBO: 12238.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.82 .. Rec_loss: 5419.33 .. NELBO: 5424.15
****************************************************************************************************
Validation loss decreased (10886.265625 --> 10848.301758).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 9.85 .. Rec_loss: 12169.49 .. NELBO: 12179.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.51 .. Rec_loss: 5391.91 .. NELBO: 5394.42
****************************************************************************************************
Validation loss decreased (10848.301758 --> 10788.838867).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 5.05 .. Rec_loss: 12086.27 .. NELBO: 12091.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.09 .. Rec_loss: 5357.43 .. NELBO: 5358.52
****************************************************************************************************
Validation loss decreased (10788.838867 --> 10717.053711).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 2.1 .. Rec_loss: 11983.12 .. NELBO: 11985.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.41 .. Rec_loss: 5323.63 .. NELBO: 5324.04
****************************************************************************************************
Validation loss decreased (10717.053711 --> 10648.072266).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.75 .. Rec_loss: 11879.98 .. NELBO: 11880.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.17 .. Rec_loss: 5302.49 .. NELBO: 5302.66
****************************************************************************************************
Validation loss decreased (10648.072266 --> 10605.325195).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.32 .. Rec_loss: 11804.58 .. NELBO: 11804.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5304.19 .. NELBO: 5304.26
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 11776.6 .. NELBO: 11776.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5325.34 .. NELBO: 5325.37
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11785.17 .. NELBO: 11785.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.47 .. NELBO: 5347.49
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11797.26 .. NELBO: 11797.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5356.23 .. NELBO: 5356.25
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11793.12 .. NELBO: 11793.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.76 .. NELBO: 5352.78
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.1936374344557168, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=90, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=90, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=90, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1169.35 .. Rec_loss: 12264.01 .. NELBO: 13433.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 24.82 .. Rec_loss: 5445.42 .. NELBO: 5470.24
****************************************************************************************************
Validation loss decreased (inf --> 10940.474609).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 31.09 .. Rec_loss: 12253.25 .. NELBO: 12284.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.91 .. Rec_loss: 5436.1 .. NELBO: 5441.01
****************************************************************************************************
Validation loss decreased (10940.474609 --> 10882.009766).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 11.01 .. Rec_loss: 12222.92 .. NELBO: 12233.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.97 .. Rec_loss: 5417.73 .. NELBO: 5421.7
****************************************************************************************************
Validation loss decreased (10882.009766 --> 10843.408203).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 8.78 .. Rec_loss: 12165.43 .. NELBO: 12174.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.75 .. Rec_loss: 5389.35 .. NELBO: 5392.1
****************************************************************************************************
Validation loss decreased (10843.408203 --> 10784.212891).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 6.04 .. Rec_loss: 12078.92 .. NELBO: 12084.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.79 .. Rec_loss: 5354.2 .. NELBO: 5355.99
****************************************************************************************************
Validation loss decreased (10784.212891 --> 10711.980469).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 3.9 .. Rec_loss: 11973.82 .. NELBO: 11977.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.11 .. Rec_loss: 5320.75 .. NELBO: 5321.86
****************************************************************************************************
Validation loss decreased (10711.980469 --> 10643.715820).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 2.42 .. Rec_loss: 11871.21 .. NELBO: 11873.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.71 .. Rec_loss: 5301.47 .. NELBO: 5302.18
****************************************************************************************************
Validation loss decreased (10643.715820 --> 10604.361328).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 1.62 .. Rec_loss: 11799.73 .. NELBO: 11801.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 5305.73 .. NELBO: 5306.18
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.93 .. Rec_loss: 11776.17 .. NELBO: 11777.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.26 .. Rec_loss: 5328.01 .. NELBO: 5328.27
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.56 .. Rec_loss: 11787.51 .. NELBO: 11788.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.15 .. Rec_loss: 5348.95 .. NELBO: 5349.1
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.29 .. Rec_loss: 11797.19 .. NELBO: 11797.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5355.91 .. NELBO: 5355.99
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 11790.59 .. NELBO: 11790.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5351.63 .. NELBO: 5351.67
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.1936374344557168, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=90, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=90, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=90, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 892.54 .. Rec_loss: 12265.16 .. NELBO: 13157.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 22.22 .. Rec_loss: 5445.78 .. NELBO: 5468.0
****************************************************************************************************
Validation loss decreased (inf --> 10936.003906).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 29.75 .. Rec_loss: 12255.43 .. NELBO: 12285.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 5.81 .. Rec_loss: 5437.79 .. NELBO: 5443.6
****************************************************************************************************
Validation loss decreased (10936.003906 --> 10887.186523).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 12.81 .. Rec_loss: 12229.02 .. NELBO: 12241.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 5.15 .. Rec_loss: 5421.49 .. NELBO: 5426.64
****************************************************************************************************
Validation loss decreased (10887.186523 --> 10853.289062).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 11.08 .. Rec_loss: 12177.25 .. NELBO: 12188.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.51 .. Rec_loss: 5395.48 .. NELBO: 5398.99
****************************************************************************************************
Validation loss decreased (10853.289062 --> 10797.986328).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 7.59 .. Rec_loss: 12098.31 .. NELBO: 12105.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.1 .. Rec_loss: 5361.85 .. NELBO: 5363.95
****************************************************************************************************
Validation loss decreased (10797.986328 --> 10727.909180).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 4.2 .. Rec_loss: 11997.88 .. NELBO: 12002.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.18 .. Rec_loss: 5327.55 .. NELBO: 5328.73
****************************************************************************************************
Validation loss decreased (10727.909180 --> 10657.458984).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 2.47 .. Rec_loss: 11893.75 .. NELBO: 11896.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.68 .. Rec_loss: 5304.11 .. NELBO: 5304.79
****************************************************************************************************
Validation loss decreased (10657.458984 --> 10609.571289).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 1.43 .. Rec_loss: 11813.44 .. NELBO: 11814.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.4 .. Rec_loss: 5302.39 .. NELBO: 5302.79
****************************************************************************************************
Validation loss decreased (10609.571289 --> 10605.580078).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.83 .. Rec_loss: 11778.33 .. NELBO: 11779.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.21 .. Rec_loss: 5321.42 .. NELBO: 5321.63
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.41 .. Rec_loss: 11783.08 .. NELBO: 11783.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 5344.18 .. NELBO: 5344.29
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 11796.03 .. NELBO: 11796.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5354.88 .. NELBO: 5354.94
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 11793.67 .. NELBO: 11793.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5352.87 .. NELBO: 5352.9
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11778.73 .. NELBO: 11778.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5345.64 .. NELBO: 5345.66
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  25
model: ETM(
  (t_drop): Dropout(p=0.21411111413039327, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=55, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=55, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=55, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 673.93 .. Rec_loss: 12264.31 .. NELBO: 12938.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 24.85 .. Rec_loss: 5444.83 .. NELBO: 5469.68
****************************************************************************************************
Validation loss decreased (inf --> 10939.365234).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 33.8 .. Rec_loss: 12252.96 .. NELBO: 12286.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.91 .. Rec_loss: 5436.55 .. NELBO: 5445.46
****************************************************************************************************
Validation loss decreased (10939.365234 --> 10890.926758).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 21.31 .. Rec_loss: 12225.24 .. NELBO: 12246.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.45 .. Rec_loss: 5419.63 .. NELBO: 5428.08
****************************************************************************************************
Validation loss decreased (10890.926758 --> 10856.168945).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 17.74 .. Rec_loss: 12171.37 .. NELBO: 12189.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 5.13 .. Rec_loss: 5392.84 .. NELBO: 5397.97
****************************************************************************************************
Validation loss decreased (10856.168945 --> 10795.946289).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 10.96 .. Rec_loss: 12089.94 .. NELBO: 12100.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.12 .. Rec_loss: 5359.11 .. NELBO: 5362.23
****************************************************************************************************
Validation loss decreased (10795.946289 --> 10724.463867).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 6.44 .. Rec_loss: 11988.57 .. NELBO: 11995.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.81 .. Rec_loss: 5325.63 .. NELBO: 5327.44
****************************************************************************************************
Validation loss decreased (10724.463867 --> 10654.875000).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 3.83 .. Rec_loss: 11887.02 .. NELBO: 11890.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.15 .. Rec_loss: 5303.48 .. NELBO: 5304.63
****************************************************************************************************
Validation loss decreased (10654.875000 --> 10609.249023).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 2.56 .. Rec_loss: 11810.33 .. NELBO: 11812.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.76 .. Rec_loss: 5302.76 .. NELBO: 5303.52
****************************************************************************************************
Validation loss decreased (10609.249023 --> 10607.037109).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 1.6 .. Rec_loss: 11777.82 .. NELBO: 11779.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.42 .. Rec_loss: 5321.61 .. NELBO: 5322.03
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.83 .. Rec_loss: 11783.13 .. NELBO: 11783.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.2 .. Rec_loss: 5343.51 .. NELBO: 5343.71
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.4 .. Rec_loss: 11794.88 .. NELBO: 11795.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5353.72 .. NELBO: 5353.8
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.16 .. Rec_loss: 11792.24 .. NELBO: 11792.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5351.76 .. NELBO: 5351.8
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 11778.57 .. NELBO: 11778.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5344.68 .. NELBO: 5344.7
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.21411111413039327, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=55, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=55, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=55, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1072.24 .. Rec_loss: 12263.91 .. NELBO: 13336.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 34.66 .. Rec_loss: 5445.3 .. NELBO: 5479.96
****************************************************************************************************
Validation loss decreased (inf --> 10959.929688).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 50.9 .. Rec_loss: 12253.14 .. NELBO: 12304.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 22.84 .. Rec_loss: 5436.66 .. NELBO: 5459.5
****************************************************************************************************
Validation loss decreased (10959.929688 --> 10918.999023).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 56.94 .. Rec_loss: 12225.45 .. NELBO: 12282.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 25.45 .. Rec_loss: 5419.89 .. NELBO: 5445.34
****************************************************************************************************
Validation loss decreased (10918.999023 --> 10890.688477).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 52.43 .. Rec_loss: 12172.41 .. NELBO: 12224.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 17.46 .. Rec_loss: 5394.62 .. NELBO: 5412.08
****************************************************************************************************
Validation loss decreased (10890.688477 --> 10824.168945).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 39.11 .. Rec_loss: 12096.31 .. NELBO: 12135.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 14.9 .. Rec_loss: 5362.79 .. NELBO: 5377.69
****************************************************************************************************
Validation loss decreased (10824.168945 --> 10755.380859).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 34.26 .. Rec_loss: 11999.96 .. NELBO: 12034.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 13.69 .. Rec_loss: 5329.57 .. NELBO: 5343.26
****************************************************************************************************
Validation loss decreased (10755.380859 --> 10686.521484).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 31.0 .. Rec_loss: 11897.58 .. NELBO: 11928.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 12.71 .. Rec_loss: 5305.66 .. NELBO: 5318.37
****************************************************************************************************
Validation loss decreased (10686.521484 --> 10636.740234).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 27.26 .. Rec_loss: 11817.94 .. NELBO: 11845.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 10.45 .. Rec_loss: 5301.47 .. NELBO: 5311.92
****************************************************************************************************
Validation loss decreased (10636.740234 --> 10623.847656).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 21.6 .. Rec_loss: 11779.12 .. NELBO: 11800.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.7 .. Rec_loss: 5316.85 .. NELBO: 5324.55
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 15.87 .. Rec_loss: 11778.9 .. NELBO: 11794.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 5.48 .. Rec_loss: 5337.54 .. NELBO: 5343.02
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 11.39 .. Rec_loss: 11789.33 .. NELBO: 11800.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.29 .. Rec_loss: 5348.66 .. NELBO: 5352.95
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 9.37 .. Rec_loss: 11787.9 .. NELBO: 11797.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.83 .. Rec_loss: 5347.95 .. NELBO: 5351.78
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 8.56 .. Rec_loss: 11775.29 .. NELBO: 11783.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.57 .. Rec_loss: 5341.66 .. NELBO: 5345.23
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.21411111413039327, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=55, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=55, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=55, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 681.53 .. Rec_loss: 12264.43 .. NELBO: 12945.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 19.07 .. Rec_loss: 5445.53 .. NELBO: 5464.6
****************************************************************************************************
Validation loss decreased (inf --> 10929.192383).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 25.58 .. Rec_loss: 12253.56 .. NELBO: 12279.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.34 .. Rec_loss: 5436.69 .. NELBO: 5443.03
****************************************************************************************************
Validation loss decreased (10929.192383 --> 10886.061523).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 14.48 .. Rec_loss: 12225.13 .. NELBO: 12239.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 5.67 .. Rec_loss: 5419.53 .. NELBO: 5425.2
****************************************************************************************************
Validation loss decreased (10886.061523 --> 10850.390625).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 11.82 .. Rec_loss: 12170.42 .. NELBO: 12182.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.54 .. Rec_loss: 5392.51 .. NELBO: 5396.05
****************************************************************************************************
Validation loss decreased (10850.390625 --> 10792.110352).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 7.32 .. Rec_loss: 12088.37 .. NELBO: 12095.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.39 .. Rec_loss: 5358.35 .. NELBO: 5360.74
****************************************************************************************************
Validation loss decreased (10792.110352 --> 10721.482422).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 4.94 .. Rec_loss: 11986.14 .. NELBO: 11991.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.33 .. Rec_loss: 5324.95 .. NELBO: 5326.28
****************************************************************************************************
Validation loss decreased (10721.482422 --> 10652.557617).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 2.66 .. Rec_loss: 11884.43 .. NELBO: 11887.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.7 .. Rec_loss: 5303.32 .. NELBO: 5304.02
****************************************************************************************************
Validation loss decreased (10652.557617 --> 10608.049805).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 1.38 .. Rec_loss: 11808.33 .. NELBO: 11809.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.37 .. Rec_loss: 5303.44 .. NELBO: 5303.81
****************************************************************************************************
Validation loss decreased (10608.049805 --> 10607.628906).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.73 .. Rec_loss: 11776.62 .. NELBO: 11777.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.16 .. Rec_loss: 5323.11 .. NELBO: 5323.27
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.32 .. Rec_loss: 11783.71 .. NELBO: 11784.03
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5345.08 .. NELBO: 5345.15
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 11795.24 .. NELBO: 11795.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5354.62 .. NELBO: 5354.65
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11791.86 .. NELBO: 11791.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.93 .. NELBO: 5351.95
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11777.45 .. NELBO: 11777.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5344.52 .. NELBO: 5344.53
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  26
model: ETM(
  (t_drop): Dropout(p=0.17266957099006916, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=87, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=87, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=87, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.27 .. Rec_loss: 12263.62 .. NELBO: 12263.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.93 .. Rec_loss: 5442.78 .. NELBO: 5444.71
****************************************************************************************************
Validation loss decreased (inf --> 10889.417969).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 2.14 .. Rec_loss: 12242.03 .. NELBO: 12244.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5426.4 .. NELBO: 5426.43
****************************************************************************************************
Validation loss decreased (10889.417969 --> 10852.842773).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.54 .. Rec_loss: 12189.69 .. NELBO: 12190.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 5398.24 .. NELBO: 5398.46
****************************************************************************************************
Validation loss decreased (10852.842773 --> 10796.929688).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.5 .. Rec_loss: 12105.22 .. NELBO: 12105.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.84 .. Rec_loss: 5361.88 .. NELBO: 5362.72
****************************************************************************************************
Validation loss decreased (10796.929688 --> 10725.435547).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 3.42 .. Rec_loss: 11997.32 .. NELBO: 12000.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 5326.54 .. NELBO: 5326.99
****************************************************************************************************
Validation loss decreased (10725.435547 --> 10653.989258).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.72 .. Rec_loss: 11893.78 .. NELBO: 11894.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.15 .. Rec_loss: 5304.0 .. NELBO: 5304.15
****************************************************************************************************
Validation loss decreased (10653.989258 --> 10608.300781).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.5 .. Rec_loss: 11815.3 .. NELBO: 11815.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.33 .. Rec_loss: 5303.8 .. NELBO: 5304.13
****************************************************************************************************
Validation loss decreased (10608.300781 --> 10608.261719).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.44 .. Rec_loss: 11782.7 .. NELBO: 11783.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.28 .. Rec_loss: 5322.53 .. NELBO: 5322.81
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.56 .. Rec_loss: 11786.57 .. NELBO: 11787.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.36 .. Rec_loss: 5342.87 .. NELBO: 5343.23
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.62 .. Rec_loss: 11794.68 .. NELBO: 11795.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.47 .. Rec_loss: 5351.19 .. NELBO: 5351.66
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.87 .. Rec_loss: 11788.83 .. NELBO: 11789.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.02 .. Rec_loss: 5347.69 .. NELBO: 5348.71
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 1.95 .. Rec_loss: 11774.01 .. NELBO: 11775.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.37 .. Rec_loss: 5340.43 .. NELBO: 5341.8
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.17266957099006916, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=87, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=87, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=87, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.31 .. Rec_loss: 12263.81 .. NELBO: 12264.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.55 .. Rec_loss: 5442.99 .. NELBO: 5444.54
****************************************************************************************************
Validation loss decreased (inf --> 10889.091797).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.91 .. Rec_loss: 12243.42 .. NELBO: 12245.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5427.39 .. NELBO: 5427.42
****************************************************************************************************
Validation loss decreased (10889.091797 --> 10854.825195).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.52 .. Rec_loss: 12193.34 .. NELBO: 12193.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.3 .. Rec_loss: 5400.13 .. NELBO: 5400.43
****************************************************************************************************
Validation loss decreased (10854.825195 --> 10800.862305).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.5 .. Rec_loss: 12111.94 .. NELBO: 12112.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.76 .. Rec_loss: 5364.61 .. NELBO: 5365.37
****************************************************************************************************
Validation loss decreased (10800.862305 --> 10730.734375).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 2.82 .. Rec_loss: 12006.02 .. NELBO: 12008.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.24 .. Rec_loss: 5328.68 .. NELBO: 5329.92
****************************************************************************************************
Validation loss decreased (10730.734375 --> 10659.857422).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 1.47 .. Rec_loss: 11901.82 .. NELBO: 11903.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 5305.01 .. NELBO: 5305.13
****************************************************************************************************
Validation loss decreased (10659.857422 --> 10610.250000).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.59 .. Rec_loss: 11820.98 .. NELBO: 11821.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 5302.44 .. NELBO: 5302.87
****************************************************************************************************
Validation loss decreased (10610.250000 --> 10605.744141).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.52 .. Rec_loss: 11783.75 .. NELBO: 11784.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.17 .. Rec_loss: 5319.68 .. NELBO: 5319.85
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 11784.83 .. NELBO: 11785.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.52 .. Rec_loss: 5340.51 .. NELBO: 5341.03
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.78 .. Rec_loss: 11793.89 .. NELBO: 11794.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.44 .. Rec_loss: 5350.3 .. NELBO: 5350.74
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.86 .. Rec_loss: 11789.7 .. NELBO: 11790.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.31 .. Rec_loss: 5347.4 .. NELBO: 5348.71
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 2.5 .. Rec_loss: 11774.66 .. NELBO: 11777.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.4 .. Rec_loss: 5340.67 .. NELBO: 5342.07
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.17266957099006916, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=87, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=87, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=87, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.34 .. Rec_loss: 12263.78 .. NELBO: 12264.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.96 .. Rec_loss: 5443.18 .. NELBO: 5444.14
****************************************************************************************************
Validation loss decreased (inf --> 10888.269531).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.78 .. Rec_loss: 12243.86 .. NELBO: 12245.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5427.63 .. NELBO: 5427.65
****************************************************************************************************
Validation loss decreased (10888.269531 --> 10855.312500).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.26 .. Rec_loss: 12194.19 .. NELBO: 12194.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.3 .. Rec_loss: 5400.69 .. NELBO: 5400.99
****************************************************************************************************
Validation loss decreased (10855.312500 --> 10801.962891).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.47 .. Rec_loss: 12113.31 .. NELBO: 12113.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.26 .. Rec_loss: 5365.12 .. NELBO: 5365.38
****************************************************************************************************
Validation loss decreased (10801.962891 --> 10730.764648).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.75 .. Rec_loss: 12008.94 .. NELBO: 12009.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.49 .. Rec_loss: 5328.84 .. NELBO: 5330.33
****************************************************************************************************
Validation loss decreased (10730.764648 --> 10660.668945).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 2.2 .. Rec_loss: 11901.33 .. NELBO: 11903.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.32 .. Rec_loss: 5304.98 .. NELBO: 5305.3
****************************************************************************************************
Validation loss decreased (10660.668945 --> 10610.606445).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.73 .. Rec_loss: 11821.13 .. NELBO: 11821.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5302.31 .. NELBO: 5302.4
****************************************************************************************************
Validation loss decreased (10610.606445 --> 10604.791016).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.21 .. Rec_loss: 11783.86 .. NELBO: 11784.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.6 .. Rec_loss: 5319.03 .. NELBO: 5319.63
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 1.2 .. Rec_loss: 11784.42 .. NELBO: 11785.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.35 .. Rec_loss: 5340.17 .. NELBO: 5340.52
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 2.48 .. Rec_loss: 11791.83 .. NELBO: 11794.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.55 .. Rec_loss: 5347.46 .. NELBO: 5350.01
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 4.09 .. Rec_loss: 11784.04 .. NELBO: 11788.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.05 .. Rec_loss: 5344.72 .. NELBO: 5347.77
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 7.63 .. Rec_loss: 11769.59 .. NELBO: 11777.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.26 .. Rec_loss: 5337.19 .. NELBO: 5341.45
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  27
model: ETM(
  (t_drop): Dropout(p=0.1729668456034926, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=100, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=100, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=100, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.32 .. Rec_loss: 12263.88 .. NELBO: 12264.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.06 .. Rec_loss: 5443.16 .. NELBO: 5445.22
****************************************************************************************************
Validation loss decreased (inf --> 10890.454102).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 2.57 .. Rec_loss: 12244.08 .. NELBO: 12246.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5427.8 .. NELBO: 5427.83
****************************************************************************************************
Validation loss decreased (10890.454102 --> 10855.649414).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.47 .. Rec_loss: 12195.04 .. NELBO: 12195.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.24 .. Rec_loss: 5400.95 .. NELBO: 5401.19
****************************************************************************************************
Validation loss decreased (10855.649414 --> 10802.371094).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.3 .. Rec_loss: 12114.81 .. NELBO: 12115.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.49 .. Rec_loss: 5365.72 .. NELBO: 5366.21
****************************************************************************************************
Validation loss decreased (10802.371094 --> 10732.421875).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 1.35 .. Rec_loss: 12010.7 .. NELBO: 12012.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.68 .. Rec_loss: 5329.36 .. NELBO: 5331.04
****************************************************************************************************
Validation loss decreased (10732.421875 --> 10662.096680).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 2.2 .. Rec_loss: 11904.0 .. NELBO: 11906.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.36 .. Rec_loss: 5305.17 .. NELBO: 5305.53
****************************************************************************************************
Validation loss decreased (10662.096680 --> 10611.072266).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.61 .. Rec_loss: 11822.49 .. NELBO: 11823.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5302.19 .. NELBO: 5302.26
****************************************************************************************************
Validation loss decreased (10611.072266 --> 10604.533203).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 11784.72 .. NELBO: 11784.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 5319.52 .. NELBO: 5319.63
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 11785.33 .. NELBO: 11785.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.17 .. Rec_loss: 5340.95 .. NELBO: 5341.12
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.31 .. Rec_loss: 11794.91 .. NELBO: 11795.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 5350.99 .. NELBO: 5351.37
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.84 .. Rec_loss: 11790.63 .. NELBO: 11791.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.17 .. Rec_loss: 5348.54 .. NELBO: 5349.71
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 2.13 .. Rec_loss: 11775.82 .. NELBO: 11777.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.97 .. Rec_loss: 5342.15 .. NELBO: 5343.12
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.1729668456034926, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=100, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=100, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=100, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.3 .. Rec_loss: 12263.99 .. NELBO: 12264.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.84 .. Rec_loss: 5443.27 .. NELBO: 5446.11
****************************************************************************************************
Validation loss decreased (inf --> 10892.231445).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 3.14 .. Rec_loss: 12244.49 .. NELBO: 12247.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5428.03 .. NELBO: 5428.09
****************************************************************************************************
Validation loss decreased (10892.231445 --> 10856.182617).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.51 .. Rec_loss: 12195.3 .. NELBO: 12195.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.18 .. Rec_loss: 5401.17 .. NELBO: 5401.35
****************************************************************************************************
Validation loss decreased (10856.182617 --> 10802.696289).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 12115.0 .. NELBO: 12115.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.36 .. Rec_loss: 5365.73 .. NELBO: 5366.09
****************************************************************************************************
Validation loss decreased (10802.696289 --> 10732.186523).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 3.38 .. Rec_loss: 12010.28 .. NELBO: 12013.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.63 .. Rec_loss: 5329.66 .. NELBO: 5330.29
****************************************************************************************************
Validation loss decreased (10732.186523 --> 10660.594727).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 1.1 .. Rec_loss: 11904.74 .. NELBO: 11905.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.27 .. Rec_loss: 5305.34 .. NELBO: 5305.61
****************************************************************************************************
Validation loss decreased (10660.594727 --> 10611.228516).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 11822.7 .. NELBO: 11823.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 5302.33 .. NELBO: 5302.71
****************************************************************************************************
Validation loss decreased (10611.228516 --> 10605.422852).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.6 .. Rec_loss: 11784.85 .. NELBO: 11785.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 5319.61 .. NELBO: 5319.72
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.15 .. Rec_loss: 11785.6 .. NELBO: 11785.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 5340.72 .. NELBO: 5340.82
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.29 .. Rec_loss: 11794.53 .. NELBO: 11794.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.56 .. Rec_loss: 5350.46 .. NELBO: 5351.02
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 1.19 .. Rec_loss: 11790.15 .. NELBO: 11791.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.11 .. Rec_loss: 5348.29 .. NELBO: 5349.4
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 1.87 .. Rec_loss: 11775.96 .. NELBO: 11777.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.89 .. Rec_loss: 5342.02 .. NELBO: 5342.91
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.1729668456034926, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=100, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=100, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=100, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.27 .. Rec_loss: 12263.75 .. NELBO: 12264.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.49 .. Rec_loss: 5443.07 .. NELBO: 5445.56
****************************************************************************************************
Validation loss decreased (inf --> 10891.109375).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 2.83 .. Rec_loss: 12243.14 .. NELBO: 12245.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5427.35 .. NELBO: 5427.38
****************************************************************************************************
Validation loss decreased (10891.109375 --> 10854.757812).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.57 .. Rec_loss: 12192.5 .. NELBO: 12193.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.26 .. Rec_loss: 5400.13 .. NELBO: 5400.39
****************************************************************************************************
Validation loss decreased (10854.757812 --> 10800.766602).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.5 .. Rec_loss: 12111.13 .. NELBO: 12111.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.68 .. Rec_loss: 5364.54 .. NELBO: 5365.22
****************************************************************************************************
Validation loss decreased (10800.766602 --> 10730.438477).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 4.11 .. Rec_loss: 12004.51 .. NELBO: 12008.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.16 .. Rec_loss: 5328.92 .. NELBO: 5330.08
****************************************************************************************************
Validation loss decreased (10730.438477 --> 10660.154297).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 1.74 .. Rec_loss: 11901.39 .. NELBO: 11903.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.27 .. Rec_loss: 5305.38 .. NELBO: 5305.65
****************************************************************************************************
Validation loss decreased (10660.154297 --> 10611.301758).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.69 .. Rec_loss: 11820.98 .. NELBO: 11821.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.46 .. Rec_loss: 5302.75 .. NELBO: 5303.21
****************************************************************************************************
Validation loss decreased (10611.301758 --> 10606.402344).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.58 .. Rec_loss: 11783.78 .. NELBO: 11784.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.16 .. Rec_loss: 5319.84 .. NELBO: 5320.0
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 11784.95 .. NELBO: 11785.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.37 .. Rec_loss: 5340.79 .. NELBO: 5341.16
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.55 .. Rec_loss: 11794.13 .. NELBO: 11794.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.32 .. Rec_loss: 5350.61 .. NELBO: 5350.93
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.65 .. Rec_loss: 11790.04 .. NELBO: 11790.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.16 .. Rec_loss: 5347.86 .. NELBO: 5349.02
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 2.27 .. Rec_loss: 11775.02 .. NELBO: 11777.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.42 .. Rec_loss: 5340.86 .. NELBO: 5342.28
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  28
model: ETM(
  (t_drop): Dropout(p=0.06520113362115033, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1021.35 .. Rec_loss: 12264.16 .. NELBO: 13285.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 19.06 .. Rec_loss: 5445.72 .. NELBO: 5464.78
****************************************************************************************************
Validation loss decreased (inf --> 10929.559570).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 22.73 .. Rec_loss: 12253.76 .. NELBO: 12276.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.84 .. Rec_loss: 5436.31 .. NELBO: 5440.15
****************************************************************************************************
Validation loss decreased (10929.559570 --> 10880.298828).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 7.74 .. Rec_loss: 12223.43 .. NELBO: 12231.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.37 .. Rec_loss: 5418.35 .. NELBO: 5421.72
****************************************************************************************************
Validation loss decreased (10880.298828 --> 10843.447266).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 6.62 .. Rec_loss: 12166.85 .. NELBO: 12173.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.44 .. Rec_loss: 5390.54 .. NELBO: 5392.98
****************************************************************************************************
Validation loss decreased (10843.447266 --> 10785.954102).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 4.59 .. Rec_loss: 12082.45 .. NELBO: 12087.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.55 .. Rec_loss: 5355.89 .. NELBO: 5357.44
****************************************************************************************************
Validation loss decreased (10785.954102 --> 10714.864258).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 2.83 .. Rec_loss: 11979.04 .. NELBO: 11981.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.86 .. Rec_loss: 5322.36 .. NELBO: 5323.22
****************************************************************************************************
Validation loss decreased (10714.864258 --> 10646.432617).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 1.52 .. Rec_loss: 11876.13 .. NELBO: 11877.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 5302.05 .. NELBO: 5302.48
****************************************************************************************************
Validation loss decreased (10646.432617 --> 10604.969727).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.78 .. Rec_loss: 11801.96 .. NELBO: 11802.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.21 .. Rec_loss: 5304.7 .. NELBO: 5304.91
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 11776.54 .. NELBO: 11776.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 5326.14 .. NELBO: 5326.24
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.18 .. Rec_loss: 11785.67 .. NELBO: 11785.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5347.68 .. NELBO: 5347.73
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 11797.05 .. NELBO: 11797.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5355.69 .. NELBO: 5355.72
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11791.85 .. NELBO: 11791.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.91 .. NELBO: 5351.93
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06520113362115033, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1155.59 .. Rec_loss: 12264.72 .. NELBO: 13420.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 23.25 .. Rec_loss: 5445.76 .. NELBO: 5469.01
****************************************************************************************************
Validation loss decreased (inf --> 10938.019531).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 27.73 .. Rec_loss: 12254.41 .. NELBO: 12282.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 5.76 .. Rec_loss: 5436.77 .. NELBO: 5442.53
****************************************************************************************************
Validation loss decreased (10938.019531 --> 10885.050781).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 12.06 .. Rec_loss: 12225.59 .. NELBO: 12237.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.56 .. Rec_loss: 5419.41 .. NELBO: 5423.97
****************************************************************************************************
Validation loss decreased (10885.050781 --> 10847.923828).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 8.09 .. Rec_loss: 12170.9 .. NELBO: 12178.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.03 .. Rec_loss: 5392.11 .. NELBO: 5394.14
****************************************************************************************************
Validation loss decreased (10847.923828 --> 10788.275391).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 3.45 .. Rec_loss: 12088.26 .. NELBO: 12091.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.76 .. Rec_loss: 5357.75 .. NELBO: 5358.51
****************************************************************************************************
Validation loss decreased (10788.275391 --> 10717.030273).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 1.29 .. Rec_loss: 11985.61 .. NELBO: 11986.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.27 .. Rec_loss: 5323.93 .. NELBO: 5324.2
****************************************************************************************************
Validation loss decreased (10717.030273 --> 10648.413086).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.47 .. Rec_loss: 11883.0 .. NELBO: 11883.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 5302.44 .. NELBO: 5302.55
****************************************************************************************************
Validation loss decreased (10648.413086 --> 10605.085938).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.19 .. Rec_loss: 11807.19 .. NELBO: 11807.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5303.42 .. NELBO: 5303.48
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 11777.38 .. NELBO: 11777.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5324.04 .. NELBO: 5324.07
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11785.09 .. NELBO: 11785.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.36 .. NELBO: 5346.38
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.7 .. NELBO: 11796.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5355.7 .. NELBO: 5355.72
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.78 .. NELBO: 11792.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.77 .. NELBO: 5352.79
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06520113362115033, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1258.52 .. Rec_loss: 12264.45 .. NELBO: 13522.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 24.47 .. Rec_loss: 5445.59 .. NELBO: 5470.06
****************************************************************************************************
Validation loss decreased (inf --> 10940.122070).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 31.68 .. Rec_loss: 12253.97 .. NELBO: 12285.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 9.33 .. Rec_loss: 5436.98 .. NELBO: 5446.31
****************************************************************************************************
Validation loss decreased (10940.122070 --> 10892.613281).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 18.77 .. Rec_loss: 12226.14 .. NELBO: 12244.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.95 .. Rec_loss: 5420.19 .. NELBO: 5427.14
****************************************************************************************************
Validation loss decreased (10892.613281 --> 10854.287109).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 12.79 .. Rec_loss: 12173.01 .. NELBO: 12185.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.13 .. Rec_loss: 5393.95 .. NELBO: 5398.08
****************************************************************************************************
Validation loss decreased (10854.287109 --> 10796.172852).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 7.78 .. Rec_loss: 12092.92 .. NELBO: 12100.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.55 .. Rec_loss: 5360.48 .. NELBO: 5363.03
****************************************************************************************************
Validation loss decreased (10796.172852 --> 10726.058594).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 4.96 .. Rec_loss: 11992.44 .. NELBO: 11997.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.7 .. Rec_loss: 5326.68 .. NELBO: 5328.38
****************************************************************************************************
Validation loss decreased (10726.058594 --> 10656.757812).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 3.38 .. Rec_loss: 11888.99 .. NELBO: 11892.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.19 .. Rec_loss: 5304.07 .. NELBO: 5305.26
****************************************************************************************************
Validation loss decreased (10656.757812 --> 10610.531250).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 2.36 .. Rec_loss: 11810.52 .. NELBO: 11812.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.84 .. Rec_loss: 5303.28 .. NELBO: 5304.12
****************************************************************************************************
Validation loss decreased (10610.531250 --> 10608.230469).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 1.67 .. Rec_loss: 11777.74 .. NELBO: 11779.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.58 .. Rec_loss: 5322.64 .. NELBO: 5323.22
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 1.16 .. Rec_loss: 11784.07 .. NELBO: 11785.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.4 .. Rec_loss: 5344.94 .. NELBO: 5345.34
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.81 .. Rec_loss: 11795.71 .. NELBO: 11796.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.29 .. Rec_loss: 5354.88 .. NELBO: 5355.17
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.57 .. Rec_loss: 11792.65 .. NELBO: 11793.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.21 .. Rec_loss: 5352.4 .. NELBO: 5352.61
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.41 .. Rec_loss: 11778.64 .. NELBO: 11779.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.16 .. Rec_loss: 5345.01 .. NELBO: 5345.17
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  29
model: ETM(
  (t_drop): Dropout(p=0.13803105531257293, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=51, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=51, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=51, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1060.58 .. Rec_loss: 12264.24 .. NELBO: 13324.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 24.86 .. Rec_loss: 5444.62 .. NELBO: 5469.48
****************************************************************************************************
Validation loss decreased (inf --> 10938.967773).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 35.23 .. Rec_loss: 12251.07 .. NELBO: 12286.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 15.49 .. Rec_loss: 5435.45 .. NELBO: 5450.94
****************************************************************************************************
Validation loss decreased (10938.967773 --> 10901.867188).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 34.26 .. Rec_loss: 12221.43 .. NELBO: 12255.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 14.57 .. Rec_loss: 5417.16 .. NELBO: 5431.73
****************************************************************************************************
Validation loss decreased (10901.867188 --> 10863.468750).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 28.9 .. Rec_loss: 12164.04 .. NELBO: 12192.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 10.32 .. Rec_loss: 5389.73 .. NELBO: 5400.05
****************************************************************************************************
Validation loss decreased (10863.468750 --> 10800.095703).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 21.26 .. Rec_loss: 12081.2 .. NELBO: 12102.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.87 .. Rec_loss: 5356.19 .. NELBO: 5364.06
****************************************************************************************************
Validation loss decreased (10800.095703 --> 10728.132812).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 17.0 .. Rec_loss: 11980.73 .. NELBO: 11997.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.99 .. Rec_loss: 5323.34 .. NELBO: 5330.33
****************************************************************************************************
Validation loss decreased (10728.132812 --> 10660.647461).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 15.09 .. Rec_loss: 11879.31 .. NELBO: 11894.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.29 .. Rec_loss: 5302.8 .. NELBO: 5309.09
****************************************************************************************************
Validation loss decreased (10660.647461 --> 10618.189453).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 13.18 .. Rec_loss: 11805.22 .. NELBO: 11818.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 5.04 .. Rec_loss: 5304.1 .. NELBO: 5309.14
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 10.2 .. Rec_loss: 11776.66 .. NELBO: 11786.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.41 .. Rec_loss: 5323.19 .. NELBO: 5326.6
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 6.84 .. Rec_loss: 11782.72 .. NELBO: 11789.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.23 .. Rec_loss: 5342.83 .. NELBO: 5345.06
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 4.81 .. Rec_loss: 11792.23 .. NELBO: 11797.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.85 .. Rec_loss: 5350.36 .. NELBO: 5352.21
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 4.13 .. Rec_loss: 11787.13 .. NELBO: 11791.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.01 .. Rec_loss: 5346.71 .. NELBO: 5348.72
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.13803105531257293, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=51, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=51, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=51, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1012.91 .. Rec_loss: 12264.13 .. NELBO: 13277.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 30.92 .. Rec_loss: 5445.07 .. NELBO: 5475.99
****************************************************************************************************
Validation loss decreased (inf --> 10951.978516).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 43.0 .. Rec_loss: 12252.47 .. NELBO: 12295.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 18.27 .. Rec_loss: 5436.48 .. NELBO: 5454.75
****************************************************************************************************
Validation loss decreased (10951.978516 --> 10909.515625).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 40.73 .. Rec_loss: 12224.59 .. NELBO: 12265.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 16.81 .. Rec_loss: 5419.1 .. NELBO: 5435.91
****************************************************************************************************
Validation loss decreased (10909.515625 --> 10871.819336).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 31.98 .. Rec_loss: 12170.48 .. NELBO: 12202.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 10.65 .. Rec_loss: 5392.3 .. NELBO: 5402.95
****************************************************************************************************
Validation loss decreased (10871.819336 --> 10805.895508).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 21.6 .. Rec_loss: 12088.99 .. NELBO: 12110.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.07 .. Rec_loss: 5358.86 .. NELBO: 5366.93
****************************************************************************************************
Validation loss decreased (10805.895508 --> 10733.860352).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 16.95 .. Rec_loss: 11988.36 .. NELBO: 12005.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.99 .. Rec_loss: 5325.44 .. NELBO: 5332.43
****************************************************************************************************
Validation loss decreased (10733.860352 --> 10664.856445).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 14.95 .. Rec_loss: 11885.72 .. NELBO: 11900.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.2 .. Rec_loss: 5303.26 .. NELBO: 5309.46
****************************************************************************************************
Validation loss decreased (10664.856445 --> 10618.915039).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 13.2 .. Rec_loss: 11808.92 .. NELBO: 11822.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.88 .. Rec_loss: 5302.44 .. NELBO: 5307.32
****************************************************************************************************
Validation loss decreased (10618.915039 --> 10614.624023).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 9.49 .. Rec_loss: 11777.12 .. NELBO: 11786.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.26 .. Rec_loss: 5320.82 .. NELBO: 5324.08
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 6.24 .. Rec_loss: 11781.5 .. NELBO: 11787.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.0 .. Rec_loss: 5341.92 .. NELBO: 5343.92
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 4.03 .. Rec_loss: 11792.01 .. NELBO: 11796.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.29 .. Rec_loss: 5351.5 .. NELBO: 5352.79
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 2.64 .. Rec_loss: 11788.61 .. NELBO: 11791.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.97 .. Rec_loss: 5349.25 .. NELBO: 5350.22
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 2.08 .. Rec_loss: 11775.44 .. NELBO: 11777.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.85 .. Rec_loss: 5342.25 .. NELBO: 5343.1
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.13803105531257293, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=51, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=51, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=51, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1645.13 .. Rec_loss: 12264.12 .. NELBO: 13909.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 43.52 .. Rec_loss: 5445.51 .. NELBO: 5489.03
****************************************************************************************************
Validation loss decreased (inf --> 10978.070312).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 64.78 .. Rec_loss: 12253.31 .. NELBO: 12318.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 36.06 .. Rec_loss: 5436.46 .. NELBO: 5472.52
****************************************************************************************************
Validation loss decreased (10978.070312 --> 10945.039062).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 79.01 .. Rec_loss: 12225.41 .. NELBO: 12304.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 32.28 .. Rec_loss: 5420.19 .. NELBO: 5452.47
****************************************************************************************************
Validation loss decreased (10945.039062 --> 10904.933594).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 64.99 .. Rec_loss: 12175.26 .. NELBO: 12240.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 26.99 .. Rec_loss: 5396.46 .. NELBO: 5423.45
****************************************************************************************************
Validation loss decreased (10904.933594 --> 10846.893555).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 56.9 .. Rec_loss: 12103.37 .. NELBO: 12160.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 24.66 .. Rec_loss: 5365.13 .. NELBO: 5389.79
****************************************************************************************************
Validation loss decreased (10846.893555 --> 10779.582031).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 53.84 .. Rec_loss: 12007.59 .. NELBO: 12061.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 26.01 .. Rec_loss: 5329.72 .. NELBO: 5355.73
****************************************************************************************************
Validation loss decreased (10779.582031 --> 10711.462891).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 57.56 .. Rec_loss: 11901.29 .. NELBO: 11958.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 29.26 .. Rec_loss: 5305.26 .. NELBO: 5334.52
****************************************************************************************************
Validation loss decreased (10711.462891 --> 10669.048828).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 61.28 .. Rec_loss: 11819.22 .. NELBO: 11880.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 26.33 .. Rec_loss: 5301.22 .. NELBO: 5327.55
****************************************************************************************************
Validation loss decreased (10669.048828 --> 10655.098633).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 53.15 .. Rec_loss: 11780.92 .. NELBO: 11834.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 20.69 .. Rec_loss: 5312.21 .. NELBO: 5332.9
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 41.86 .. Rec_loss: 11774.01 .. NELBO: 11815.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 16.13 .. Rec_loss: 5325.15 .. NELBO: 5341.28
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 33.86 .. Rec_loss: 11775.42 .. NELBO: 11809.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 13.64 .. Rec_loss: 5334.83 .. NELBO: 5348.47
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 29.69 .. Rec_loss: 11775.08 .. NELBO: 11804.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 12.74 .. Rec_loss: 5337.36 .. NELBO: 5350.1
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 27.43 .. Rec_loss: 11768.76 .. NELBO: 11796.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 12.14 .. Rec_loss: 5334.55 .. NELBO: 5346.69
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  30
model: ETM(
  (t_drop): Dropout(p=0.14807660846264453, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=89, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=89, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=89, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.31 .. Rec_loss: 12263.71 .. NELBO: 12264.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.42 .. Rec_loss: 5443.03 .. NELBO: 5444.45
****************************************************************************************************
Validation loss decreased (inf --> 10888.894531).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.7 .. Rec_loss: 12243.19 .. NELBO: 12244.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5427.17 .. NELBO: 5427.2
****************************************************************************************************
Validation loss decreased (10888.894531 --> 10854.386719).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.49 .. Rec_loss: 12192.22 .. NELBO: 12192.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.31 .. Rec_loss: 5399.51 .. NELBO: 5399.82
****************************************************************************************************
Validation loss decreased (10854.386719 --> 10799.630859).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.9 .. Rec_loss: 12108.76 .. NELBO: 12109.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.6 .. Rec_loss: 5363.3 .. NELBO: 5364.9
****************************************************************************************************
Validation loss decreased (10799.630859 --> 10729.811523).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 2.96 .. Rec_loss: 12002.72 .. NELBO: 12005.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.66 .. Rec_loss: 5327.99 .. NELBO: 5328.65
****************************************************************************************************
Validation loss decreased (10729.811523 --> 10657.284180).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.89 .. Rec_loss: 11898.75 .. NELBO: 11899.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 5304.47 .. NELBO: 5304.6
****************************************************************************************************
Validation loss decreased (10657.284180 --> 10609.204102).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 1.23 .. Rec_loss: 11817.78 .. NELBO: 11819.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.3 .. Rec_loss: 5302.89 .. NELBO: 5303.19
****************************************************************************************************
Validation loss decreased (10609.204102 --> 10606.382812).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.55 .. Rec_loss: 11783.4 .. NELBO: 11783.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.69 .. Rec_loss: 5320.83 .. NELBO: 5321.52
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.96 .. Rec_loss: 11785.47 .. NELBO: 11786.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5341.7 .. NELBO: 5341.79
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.29 .. Rec_loss: 11794.71 .. NELBO: 11795.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.34 .. Rec_loss: 5350.42 .. NELBO: 5350.76
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.95 .. Rec_loss: 11788.84 .. NELBO: 11789.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.3 .. Rec_loss: 5347.04 .. NELBO: 5348.34
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 2.38 .. Rec_loss: 11774.37 .. NELBO: 11776.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.69 .. Rec_loss: 5341.05 .. NELBO: 5341.74
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.14807660846264453, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=89, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=89, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=89, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.33 .. Rec_loss: 12263.68 .. NELBO: 12264.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.59 .. Rec_loss: 5442.76 .. NELBO: 5444.35
****************************************************************************************************
Validation loss decreased (inf --> 10888.687500).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.9 .. Rec_loss: 12242.65 .. NELBO: 12244.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5426.79 .. NELBO: 5426.81
****************************************************************************************************
Validation loss decreased (10888.687500 --> 10853.617188).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.56 .. Rec_loss: 12191.55 .. NELBO: 12192.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.29 .. Rec_loss: 5399.19 .. NELBO: 5399.48
****************************************************************************************************
Validation loss decreased (10853.617188 --> 10798.957031).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.56 .. Rec_loss: 12109.09 .. NELBO: 12109.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.72 .. Rec_loss: 5363.46 .. NELBO: 5364.18
****************************************************************************************************
Validation loss decreased (10798.957031 --> 10728.354492).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 2.68 .. Rec_loss: 12003.6 .. NELBO: 12006.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.76 .. Rec_loss: 5327.76 .. NELBO: 5328.52
****************************************************************************************************
Validation loss decreased (10728.354492 --> 10657.042969).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.92 .. Rec_loss: 11899.48 .. NELBO: 11900.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.2 .. Rec_loss: 5304.36 .. NELBO: 5304.56
****************************************************************************************************
Validation loss decreased (10657.042969 --> 10609.129883).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.85 .. Rec_loss: 11819.07 .. NELBO: 11819.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.36 .. Rec_loss: 5302.62 .. NELBO: 5302.98
****************************************************************************************************
Validation loss decreased (10609.129883 --> 10605.972656).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 11783.68 .. NELBO: 11784.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.59 .. Rec_loss: 5320.05 .. NELBO: 5320.64
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.84 .. Rec_loss: 11785.18 .. NELBO: 11786.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.25 .. Rec_loss: 5341.1 .. NELBO: 5341.35
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.5 .. Rec_loss: 11794.31 .. NELBO: 11794.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.8 .. Rec_loss: 5349.81 .. NELBO: 5350.61
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 1.65 .. Rec_loss: 11788.47 .. NELBO: 11790.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.58 .. Rec_loss: 5346.71 .. NELBO: 5348.29
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 2.64 .. Rec_loss: 11772.8 .. NELBO: 11775.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.43 .. Rec_loss: 5340.35 .. NELBO: 5341.78
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.14807660846264453, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=89, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=89, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=89, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.34 .. Rec_loss: 12263.87 .. NELBO: 12264.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.21 .. Rec_loss: 5443.16 .. NELBO: 5444.37
****************************************************************************************************
Validation loss decreased (inf --> 10888.749023).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.78 .. Rec_loss: 12243.77 .. NELBO: 12245.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5427.58 .. NELBO: 5427.6
****************************************************************************************************
Validation loss decreased (10888.749023 --> 10855.206055).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.41 .. Rec_loss: 12193.97 .. NELBO: 12194.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.29 .. Rec_loss: 5400.42 .. NELBO: 5400.71
****************************************************************************************************
Validation loss decreased (10855.206055 --> 10801.435547).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.44 .. Rec_loss: 12112.48 .. NELBO: 12112.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.33 .. Rec_loss: 5364.79 .. NELBO: 5365.12
****************************************************************************************************
Validation loss decreased (10801.435547 --> 10730.238281).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 1.1 .. Rec_loss: 12006.94 .. NELBO: 12008.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.79 .. Rec_loss: 5328.47 .. NELBO: 5330.26
****************************************************************************************************
Validation loss decreased (10730.238281 --> 10660.526367).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 2.17 .. Rec_loss: 11900.35 .. NELBO: 11902.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.19 .. Rec_loss: 5304.94 .. NELBO: 5305.13
****************************************************************************************************
Validation loss decreased (10660.526367 --> 10610.258789).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.51 .. Rec_loss: 11820.08 .. NELBO: 11820.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.32 .. Rec_loss: 5302.66 .. NELBO: 5302.98
****************************************************************************************************
Validation loss decreased (10610.258789 --> 10605.944336).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.46 .. Rec_loss: 11783.6 .. NELBO: 11784.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5320.21 .. NELBO: 5320.29
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.36 .. Rec_loss: 11784.84 .. NELBO: 11785.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.65 .. Rec_loss: 5340.81 .. NELBO: 5341.46
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 1.1 .. Rec_loss: 11793.27 .. NELBO: 11794.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.8 .. Rec_loss: 5350.17 .. NELBO: 5350.97
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 1.81 .. Rec_loss: 11788.31 .. NELBO: 11790.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.51 .. Rec_loss: 5346.04 .. NELBO: 5348.55
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 6.12 .. Rec_loss: 11770.17 .. NELBO: 11776.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.21 .. Rec_loss: 5339.15 .. NELBO: 5342.36
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  31
model: ETM(
  (t_drop): Dropout(p=0.15193755897919223, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=81, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=81, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=81, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1308.5 .. Rec_loss: 12264.54 .. NELBO: 13573.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 25.75 .. Rec_loss: 5445.38 .. NELBO: 5471.13
****************************************************************************************************
Validation loss decreased (inf --> 10942.256836).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 32.04 .. Rec_loss: 12253.17 .. NELBO: 12285.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.8 .. Rec_loss: 5436.15 .. NELBO: 5443.95
****************************************************************************************************
Validation loss decreased (10942.256836 --> 10887.901367).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 17.69 .. Rec_loss: 12224.1 .. NELBO: 12241.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.87 .. Rec_loss: 5418.56 .. NELBO: 5425.43
****************************************************************************************************
Validation loss decreased (10887.901367 --> 10850.853516).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 14.15 .. Rec_loss: 12168.79 .. NELBO: 12182.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.86 .. Rec_loss: 5391.33 .. NELBO: 5396.19
****************************************************************************************************
Validation loss decreased (10850.853516 --> 10792.371094).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 10.31 .. Rec_loss: 12085.88 .. NELBO: 12096.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.51 .. Rec_loss: 5357.25 .. NELBO: 5360.76
****************************************************************************************************
Validation loss decreased (10792.371094 --> 10721.524414).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 7.71 .. Rec_loss: 11984.93 .. NELBO: 11992.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.68 .. Rec_loss: 5323.83 .. NELBO: 5326.51
****************************************************************************************************
Validation loss decreased (10721.524414 --> 10653.033203).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 5.86 .. Rec_loss: 11882.52 .. NELBO: 11888.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.19 .. Rec_loss: 5302.83 .. NELBO: 5305.02
****************************************************************************************************
Validation loss decreased (10653.033203 --> 10610.054688).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 5.03 .. Rec_loss: 11807.52 .. NELBO: 11812.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.77 .. Rec_loss: 5304.0 .. NELBO: 5305.77
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 3.75 .. Rec_loss: 11778.85 .. NELBO: 11782.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.32 .. Rec_loss: 5323.81 .. NELBO: 5325.13
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 2.77 .. Rec_loss: 11785.26 .. NELBO: 11788.03
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.92 .. Rec_loss: 5344.7 .. NELBO: 5345.62
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 1.98 .. Rec_loss: 11794.59 .. NELBO: 11796.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.63 .. Rec_loss: 5353.17 .. NELBO: 5353.8
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 1.36 .. Rec_loss: 11790.17 .. NELBO: 11791.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.47 .. Rec_loss: 5350.23 .. NELBO: 5350.7
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.15193755897919223, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=81, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=81, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=81, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 946.37 .. Rec_loss: 12264.03 .. NELBO: 13210.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 23.65 .. Rec_loss: 5445.2 .. NELBO: 5468.85
****************************************************************************************************
Validation loss decreased (inf --> 10937.701172).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 30.11 .. Rec_loss: 12253.4 .. NELBO: 12283.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.41 .. Rec_loss: 5436.54 .. NELBO: 5443.95
****************************************************************************************************
Validation loss decreased (10937.701172 --> 10887.914062).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 16.92 .. Rec_loss: 12225.04 .. NELBO: 12241.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.57 .. Rec_loss: 5419.24 .. NELBO: 5425.81
****************************************************************************************************
Validation loss decreased (10887.914062 --> 10851.624023).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 13.38 .. Rec_loss: 12170.6 .. NELBO: 12183.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.93 .. Rec_loss: 5392.36 .. NELBO: 5396.29
****************************************************************************************************
Validation loss decreased (10851.624023 --> 10792.591797).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 8.09 .. Rec_loss: 12089.46 .. NELBO: 12097.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.62 .. Rec_loss: 5358.54 .. NELBO: 5361.16
****************************************************************************************************
Validation loss decreased (10792.591797 --> 10722.328125).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 5.78 .. Rec_loss: 11988.62 .. NELBO: 11994.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.95 .. Rec_loss: 5325.06 .. NELBO: 5327.01
****************************************************************************************************
Validation loss decreased (10722.328125 --> 10654.019531).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 4.3 .. Rec_loss: 11886.12 .. NELBO: 11890.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.48 .. Rec_loss: 5303.35 .. NELBO: 5304.83
****************************************************************************************************
Validation loss decreased (10654.019531 --> 10609.660156).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 3.31 .. Rec_loss: 11809.97 .. NELBO: 11813.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.09 .. Rec_loss: 5303.35 .. NELBO: 5304.44
****************************************************************************************************
Validation loss decreased (10609.660156 --> 10608.884766).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 2.26 .. Rec_loss: 11779.06 .. NELBO: 11781.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.76 .. Rec_loss: 5322.7 .. NELBO: 5323.46
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 1.58 .. Rec_loss: 11784.13 .. NELBO: 11785.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.49 .. Rec_loss: 5344.35 .. NELBO: 5344.84
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 1.02 .. Rec_loss: 11795.69 .. NELBO: 11796.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.29 .. Rec_loss: 5353.8 .. NELBO: 5354.09
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.61 .. Rec_loss: 11791.78 .. NELBO: 11792.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.17 .. Rec_loss: 5351.32 .. NELBO: 5351.49
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.36 .. Rec_loss: 11777.85 .. NELBO: 11778.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 5344.21 .. NELBO: 5344.32
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.15193755897919223, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=81, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=81, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=81, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1091.29 .. Rec_loss: 12264.37 .. NELBO: 13355.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 19.71 .. Rec_loss: 5445.38 .. NELBO: 5465.09
****************************************************************************************************
Validation loss decreased (inf --> 10930.187500).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 22.37 .. Rec_loss: 12253.37 .. NELBO: 12275.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.64 .. Rec_loss: 5436.45 .. NELBO: 5438.09
****************************************************************************************************
Validation loss decreased (10930.187500 --> 10876.187500).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 3.52 .. Rec_loss: 12224.1 .. NELBO: 12227.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.17 .. Rec_loss: 5418.88 .. NELBO: 5420.05
****************************************************************************************************
Validation loss decreased (10876.187500 --> 10840.095703).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 2.17 .. Rec_loss: 12168.4 .. NELBO: 12170.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.67 .. Rec_loss: 5391.57 .. NELBO: 5392.24
****************************************************************************************************
Validation loss decreased (10840.095703 --> 10784.480469).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 1.38 .. Rec_loss: 12085.31 .. NELBO: 12086.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.4 .. Rec_loss: 5357.34 .. NELBO: 5357.74
****************************************************************************************************
Validation loss decreased (10784.480469 --> 10715.480469).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.81 .. Rec_loss: 11982.77 .. NELBO: 11983.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.25 .. Rec_loss: 5323.81 .. NELBO: 5324.06
****************************************************************************************************
Validation loss decreased (10715.480469 --> 10648.120117).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.55 .. Rec_loss: 11880.6 .. NELBO: 11881.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 5302.84 .. NELBO: 5303.06
****************************************************************************************************
Validation loss decreased (10648.120117 --> 10606.127930).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 11805.29 .. NELBO: 11805.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 5304.42 .. NELBO: 5304.56
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.25 .. Rec_loss: 11776.79 .. NELBO: 11777.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5325.11 .. NELBO: 5325.15
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 11785.15 .. NELBO: 11785.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5346.95 .. NELBO: 5346.98
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11797.22 .. NELBO: 11797.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5355.73 .. NELBO: 5355.76
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11792.24 .. NELBO: 11792.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.47 .. NELBO: 5352.49
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  32
model: ETM(
  (t_drop): Dropout(p=0.19945062465750413, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=89, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=89, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=89, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 972.88 .. Rec_loss: 12264.71 .. NELBO: 13237.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 23.26 .. Rec_loss: 5445.42 .. NELBO: 5468.68
****************************************************************************************************
Validation loss decreased (inf --> 10937.372070).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 31.17 .. Rec_loss: 12253.87 .. NELBO: 12285.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.33 .. Rec_loss: 5436.84 .. NELBO: 5444.17
****************************************************************************************************
Validation loss decreased (10937.372070 --> 10888.337891).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 15.88 .. Rec_loss: 12225.22 .. NELBO: 12241.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.9 .. Rec_loss: 5419.37 .. NELBO: 5424.27
****************************************************************************************************
Validation loss decreased (10888.337891 --> 10848.529297).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 10.48 .. Rec_loss: 12170.2 .. NELBO: 12180.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.98 .. Rec_loss: 5392.02 .. NELBO: 5395.0
****************************************************************************************************
Validation loss decreased (10848.529297 --> 10790.013672).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 6.58 .. Rec_loss: 12087.15 .. NELBO: 12093.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.06 .. Rec_loss: 5357.76 .. NELBO: 5359.82
****************************************************************************************************
Validation loss decreased (10790.013672 --> 10719.638672).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 4.6 .. Rec_loss: 11984.54 .. NELBO: 11989.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.47 .. Rec_loss: 5324.16 .. NELBO: 5325.63
****************************************************************************************************
Validation loss decreased (10719.638672 --> 10651.258789).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 3.3 .. Rec_loss: 11881.77 .. NELBO: 11885.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.0 .. Rec_loss: 5302.93 .. NELBO: 5303.93
****************************************************************************************************
Validation loss decreased (10651.258789 --> 10607.852539).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 2.22 .. Rec_loss: 11807.31 .. NELBO: 11809.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.64 .. Rec_loss: 5303.75 .. NELBO: 5304.39
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 1.34 .. Rec_loss: 11777.62 .. NELBO: 11778.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 5323.62 .. NELBO: 5324.0
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.82 .. Rec_loss: 11784.63 .. NELBO: 11785.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.2 .. Rec_loss: 5345.21 .. NELBO: 5345.41
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.44 .. Rec_loss: 11795.8 .. NELBO: 11796.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 5354.33 .. NELBO: 5354.43
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.19 .. Rec_loss: 11790.9 .. NELBO: 11791.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5351.57 .. NELBO: 5351.62
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.19945062465750413, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=89, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=89, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=89, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1018.45 .. Rec_loss: 12265.19 .. NELBO: 13283.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 21.0 .. Rec_loss: 5446.04 .. NELBO: 5467.04
****************************************************************************************************
Validation loss decreased (inf --> 10934.080078).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 26.35 .. Rec_loss: 12255.4 .. NELBO: 12281.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.23 .. Rec_loss: 5437.6 .. NELBO: 5441.83
****************************************************************************************************
Validation loss decreased (10934.080078 --> 10883.643555).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 9.76 .. Rec_loss: 12228.11 .. NELBO: 12237.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.59 .. Rec_loss: 5421.26 .. NELBO: 5424.85
****************************************************************************************************
Validation loss decreased (10883.643555 --> 10849.706055).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 7.82 .. Rec_loss: 12176.13 .. NELBO: 12183.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.57 .. Rec_loss: 5395.27 .. NELBO: 5397.84
****************************************************************************************************
Validation loss decreased (10849.706055 --> 10795.681641).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 5.55 .. Rec_loss: 12096.63 .. NELBO: 12102.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.85 .. Rec_loss: 5361.89 .. NELBO: 5363.74
****************************************************************************************************
Validation loss decreased (10795.681641 --> 10727.482422).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 3.97 .. Rec_loss: 11996.74 .. NELBO: 12000.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.31 .. Rec_loss: 5327.96 .. NELBO: 5329.27
****************************************************************************************************
Validation loss decreased (10727.482422 --> 10658.548828).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 3.03 .. Rec_loss: 11893.84 .. NELBO: 11896.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.89 .. Rec_loss: 5304.63 .. NELBO: 5305.52
****************************************************************************************************
Validation loss decreased (10658.548828 --> 10611.049805).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 1.99 .. Rec_loss: 11814.4 .. NELBO: 11816.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.57 .. Rec_loss: 5302.42 .. NELBO: 5302.99
****************************************************************************************************
Validation loss decreased (10611.049805 --> 10605.977539).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 1.17 .. Rec_loss: 11778.37 .. NELBO: 11779.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.35 .. Rec_loss: 5320.63 .. NELBO: 5320.98
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.66 .. Rec_loss: 11782.41 .. NELBO: 11783.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.21 .. Rec_loss: 5343.15 .. NELBO: 5343.36
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.41 .. Rec_loss: 11795.03 .. NELBO: 11795.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 5354.22 .. NELBO: 5354.33
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 11792.63 .. NELBO: 11792.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5352.65 .. NELBO: 5352.71
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 11779.7 .. NELBO: 11779.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5345.58 .. NELBO: 5345.61
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.19945062465750413, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=89, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=89, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=89, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1099.92 .. Rec_loss: 12264.83 .. NELBO: 13364.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 20.65 .. Rec_loss: 5445.74 .. NELBO: 5466.39
****************************************************************************************************
Validation loss decreased (inf --> 10932.778320).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 27.17 .. Rec_loss: 12254.5 .. NELBO: 12281.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 5.6 .. Rec_loss: 5436.91 .. NELBO: 5442.51
****************************************************************************************************
Validation loss decreased (10932.778320 --> 10885.022461).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 13.08 .. Rec_loss: 12226.0 .. NELBO: 12239.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.75 .. Rec_loss: 5419.7 .. NELBO: 5424.45
****************************************************************************************************
Validation loss decreased (10885.022461 --> 10848.902344).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 9.63 .. Rec_loss: 12171.79 .. NELBO: 12181.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.89 .. Rec_loss: 5392.57 .. NELBO: 5395.46
****************************************************************************************************
Validation loss decreased (10848.902344 --> 10790.906250).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 6.28 .. Rec_loss: 12089.38 .. NELBO: 12095.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.71 .. Rec_loss: 5358.15 .. NELBO: 5359.86
****************************************************************************************************
Validation loss decreased (10790.906250 --> 10719.719727).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 3.81 .. Rec_loss: 11986.77 .. NELBO: 11990.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.08 .. Rec_loss: 5324.09 .. NELBO: 5325.17
****************************************************************************************************
Validation loss decreased (10719.719727 --> 10650.340820).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 2.46 .. Rec_loss: 11883.23 .. NELBO: 11885.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.77 .. Rec_loss: 5302.36 .. NELBO: 5303.13
****************************************************************************************************
Validation loss decreased (10650.340820 --> 10606.253906).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 1.67 .. Rec_loss: 11806.64 .. NELBO: 11808.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.58 .. Rec_loss: 5303.24 .. NELBO: 5303.82
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 1.26 .. Rec_loss: 11776.72 .. NELBO: 11777.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.4 .. Rec_loss: 5323.8 .. NELBO: 5324.2
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.89 .. Rec_loss: 11784.76 .. NELBO: 11785.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.25 .. Rec_loss: 5345.96 .. NELBO: 5346.21
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.53 .. Rec_loss: 11796.56 .. NELBO: 11797.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 5355.12 .. NELBO: 5355.26
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.28 .. Rec_loss: 11791.95 .. NELBO: 11792.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5352.13 .. NELBO: 5352.2
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  33
model: ETM(
  (t_drop): Dropout(p=0.03735381647408865, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=87, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=87, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=87, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1297.13 .. Rec_loss: 12264.86 .. NELBO: 13561.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 27.93 .. Rec_loss: 5445.7 .. NELBO: 5473.63
****************************************************************************************************
Validation loss decreased (inf --> 10947.250977).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 37.47 .. Rec_loss: 12254.89 .. NELBO: 12292.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 14.53 .. Rec_loss: 5438.09 .. NELBO: 5452.62
****************************************************************************************************
Validation loss decreased (10947.250977 --> 10905.230469).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 30.63 .. Rec_loss: 12228.95 .. NELBO: 12259.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 14.21 .. Rec_loss: 5421.93 .. NELBO: 5436.14
****************************************************************************************************
Validation loss decreased (10905.230469 --> 10872.290039).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 26.47 .. Rec_loss: 12177.39 .. NELBO: 12203.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 9.06 .. Rec_loss: 5396.07 .. NELBO: 5405.13
****************************************************************************************************
Validation loss decreased (10872.290039 --> 10810.266602).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 16.98 .. Rec_loss: 12098.42 .. NELBO: 12115.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.08 .. Rec_loss: 5362.85 .. NELBO: 5368.93
****************************************************************************************************
Validation loss decreased (10810.266602 --> 10737.852539).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 11.54 .. Rec_loss: 11998.56 .. NELBO: 12010.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.61 .. Rec_loss: 5328.63 .. NELBO: 5333.24
****************************************************************************************************
Validation loss decreased (10737.852539 --> 10666.475586).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 9.05 .. Rec_loss: 11894.08 .. NELBO: 11903.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.88 .. Rec_loss: 5304.76 .. NELBO: 5308.64
****************************************************************************************************
Validation loss decreased (10666.475586 --> 10617.294922).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 7.72 .. Rec_loss: 11813.59 .. NELBO: 11821.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.09 .. Rec_loss: 5302.12 .. NELBO: 5305.21
****************************************************************************************************
Validation loss decreased (10617.294922 --> 10610.428711).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 5.95 .. Rec_loss: 11777.84 .. NELBO: 11783.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.12 .. Rec_loss: 5320.03 .. NELBO: 5322.15
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 3.89 .. Rec_loss: 11781.52 .. NELBO: 11785.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.27 .. Rec_loss: 5342.16 .. NELBO: 5343.43
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 2.32 .. Rec_loss: 11793.74 .. NELBO: 11796.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.73 .. Rec_loss: 5352.88 .. NELBO: 5353.61
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 1.34 .. Rec_loss: 11792.15 .. NELBO: 11793.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 5350.98 .. NELBO: 5351.43
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.88 .. Rec_loss: 11778.43 .. NELBO: 11779.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.34 .. Rec_loss: 5343.7 .. NELBO: 5344.04
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.03735381647408865, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=87, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=87, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=87, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1171.34 .. Rec_loss: 12264.48 .. NELBO: 13435.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 23.48 .. Rec_loss: 5445.55 .. NELBO: 5469.03
****************************************************************************************************
Validation loss decreased (inf --> 10938.053711).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 28.06 .. Rec_loss: 12254.08 .. NELBO: 12282.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.34 .. Rec_loss: 5437.0 .. NELBO: 5443.34
****************************************************************************************************
Validation loss decreased (10938.053711 --> 10886.674805).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 13.18 .. Rec_loss: 12225.75 .. NELBO: 12238.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.14 .. Rec_loss: 5419.97 .. NELBO: 5426.11
****************************************************************************************************
Validation loss decreased (10886.674805 --> 10852.223633).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 12.04 .. Rec_loss: 12171.72 .. NELBO: 12183.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.92 .. Rec_loss: 5393.07 .. NELBO: 5397.99
****************************************************************************************************
Validation loss decreased (10852.223633 --> 10795.992188).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 9.53 .. Rec_loss: 12089.71 .. NELBO: 12099.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.59 .. Rec_loss: 5358.96 .. NELBO: 5362.55
****************************************************************************************************
Validation loss decreased (10795.992188 --> 10725.104492).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 6.93 .. Rec_loss: 11987.05 .. NELBO: 11993.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.51 .. Rec_loss: 5325.19 .. NELBO: 5327.7
****************************************************************************************************
Validation loss decreased (10725.104492 --> 10655.392578).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 4.69 .. Rec_loss: 11884.15 .. NELBO: 11888.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.62 .. Rec_loss: 5303.39 .. NELBO: 5305.01
****************************************************************************************************
Validation loss decreased (10655.392578 --> 10610.032227).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 3.04 .. Rec_loss: 11807.5 .. NELBO: 11810.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.0 .. Rec_loss: 5303.55 .. NELBO: 5304.55
****************************************************************************************************
Validation loss decreased (10610.032227 --> 10609.101562).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 1.81 .. Rec_loss: 11776.86 .. NELBO: 11778.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.55 .. Rec_loss: 5323.27 .. NELBO: 5323.82
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.97 .. Rec_loss: 11783.89 .. NELBO: 11784.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.25 .. Rec_loss: 5345.16 .. NELBO: 5345.41
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 11795.96 .. NELBO: 11796.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 5354.52 .. NELBO: 5354.62
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.16 .. Rec_loss: 11792.3 .. NELBO: 11792.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5351.73 .. NELBO: 5351.77
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11777.68 .. NELBO: 11777.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5344.32 .. NELBO: 5344.34
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.03735381647408865, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=87, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=87, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=87, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1334.52 .. Rec_loss: 12264.39 .. NELBO: 13598.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 26.76 .. Rec_loss: 5446.18 .. NELBO: 5472.94
****************************************************************************************************
Validation loss decreased (inf --> 10945.886719).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 32.22 .. Rec_loss: 12255.43 .. NELBO: 12287.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.46 .. Rec_loss: 5437.78 .. NELBO: 5445.24
****************************************************************************************************
Validation loss decreased (10945.886719 --> 10890.481445).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 15.92 .. Rec_loss: 12228.31 .. NELBO: 12244.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.13 .. Rec_loss: 5421.26 .. NELBO: 5428.39
****************************************************************************************************
Validation loss decreased (10890.481445 --> 10856.772461).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 13.45 .. Rec_loss: 12175.59 .. NELBO: 12189.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 5.18 .. Rec_loss: 5394.64 .. NELBO: 5399.82
****************************************************************************************************
Validation loss decreased (10856.772461 --> 10799.635742).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 10.09 .. Rec_loss: 12093.86 .. NELBO: 12103.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.99 .. Rec_loss: 5360.57 .. NELBO: 5364.56
****************************************************************************************************
Validation loss decreased (10799.635742 --> 10729.120117).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 7.81 .. Rec_loss: 11991.58 .. NELBO: 11999.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.22 .. Rec_loss: 5326.46 .. NELBO: 5329.68
****************************************************************************************************
Validation loss decreased (10729.120117 --> 10659.361328).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 6.31 .. Rec_loss: 11887.54 .. NELBO: 11893.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.5 .. Rec_loss: 5304.01 .. NELBO: 5306.51
****************************************************************************************************
Validation loss decreased (10659.361328 --> 10613.034180).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 4.83 .. Rec_loss: 11809.66 .. NELBO: 11814.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.87 .. Rec_loss: 5303.68 .. NELBO: 5305.55
****************************************************************************************************
Validation loss decreased (10613.034180 --> 10611.108398).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 3.59 .. Rec_loss: 11777.5 .. NELBO: 11781.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.28 .. Rec_loss: 5323.31 .. NELBO: 5324.59
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 2.41 .. Rec_loss: 11784.2 .. NELBO: 11786.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.83 .. Rec_loss: 5345.24 .. NELBO: 5346.07
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 1.59 .. Rec_loss: 11795.76 .. NELBO: 11797.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.57 .. Rec_loss: 5354.54 .. NELBO: 5355.11
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 1.14 .. Rec_loss: 11791.72 .. NELBO: 11792.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 5351.56 .. NELBO: 5352.01
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.94 .. Rec_loss: 11777.09 .. NELBO: 11778.03
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 5343.86 .. NELBO: 5344.29
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  34
model: ETM(
  (t_drop): Dropout(p=0.05002456110320868, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 97.83 .. Rec_loss: 12264.46 .. NELBO: 12362.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.23 .. Rec_loss: 5444.58 .. NELBO: 5452.81
****************************************************************************************************
Validation loss decreased (inf --> 10905.618164).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.82 .. Rec_loss: 12250.81 .. NELBO: 12259.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.48 .. Rec_loss: 5433.72 .. NELBO: 5434.2
****************************************************************************************************
Validation loss decreased (10905.618164 --> 10868.402344).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.69 .. Rec_loss: 12214.49 .. NELBO: 12215.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5411.98 .. NELBO: 5412.06
****************************************************************************************************
Validation loss decreased (10868.402344 --> 10824.119141).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12147.72 .. NELBO: 12147.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5380.17 .. NELBO: 5380.2
****************************************************************************************************
Validation loss decreased (10824.119141 --> 10760.401367).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12053.39 .. NELBO: 12053.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5343.56 .. NELBO: 5343.58
****************************************************************************************************
Validation loss decreased (10760.401367 --> 10687.154297).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11945.17 .. NELBO: 11945.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.53 .. NELBO: 5312.55
****************************************************************************************************
Validation loss decreased (10687.154297 --> 10625.090820).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11848.67 .. NELBO: 11848.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5299.79 .. NELBO: 5299.81
****************************************************************************************************
Validation loss decreased (10625.090820 --> 10599.612305).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11790.85 .. NELBO: 11790.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.89 .. NELBO: 5310.91
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.03 .. NELBO: 11780.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5334.56 .. NELBO: 5334.58
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.98 .. NELBO: 11793.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.39 .. NELBO: 5351.41
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.73 .. NELBO: 11796.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5354.1 .. NELBO: 5354.12
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11785.85 .. NELBO: 11785.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5348.27 .. NELBO: 5348.29
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05002456110320868, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 92.62 .. Rec_loss: 12264.05 .. NELBO: 12356.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.92 .. Rec_loss: 5443.87 .. NELBO: 5451.79
****************************************************************************************************
Validation loss decreased (inf --> 10903.587891).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.57 .. Rec_loss: 12247.99 .. NELBO: 12256.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.49 .. Rec_loss: 5431.87 .. NELBO: 5432.36
****************************************************************************************************
Validation loss decreased (10903.587891 --> 10864.712891).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.69 .. Rec_loss: 12208.33 .. NELBO: 12209.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5408.92 .. NELBO: 5409.0
****************************************************************************************************
Validation loss decreased (10864.712891 --> 10817.989258).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12137.98 .. NELBO: 12138.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5376.31 .. NELBO: 5376.34
****************************************************************************************************
Validation loss decreased (10817.989258 --> 10752.681641).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12041.05 .. NELBO: 12041.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5339.98 .. NELBO: 5340.0
****************************************************************************************************
Validation loss decreased (10752.681641 --> 10680.004883).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11933.62 .. NELBO: 11933.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.62 .. NELBO: 5310.64
****************************************************************************************************
Validation loss decreased (10680.004883 --> 10621.267578).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11840.95 .. NELBO: 11840.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.4 .. NELBO: 5300.42
****************************************************************************************************
Validation loss decreased (10621.267578 --> 10600.830078).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11788.4 .. NELBO: 11788.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.26 .. NELBO: 5313.28
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.21 .. NELBO: 11781.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.56 .. NELBO: 5336.58
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.96 .. NELBO: 11794.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.75 .. NELBO: 5351.77
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.06 .. NELBO: 11796.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.25 .. NELBO: 5353.27
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11784.27 .. NELBO: 11784.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.09 .. NELBO: 5347.11
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05002456110320868, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 93.72 .. Rec_loss: 12264.09 .. NELBO: 12357.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.2 .. Rec_loss: 5443.98 .. NELBO: 5452.18
****************************************************************************************************
Validation loss decreased (inf --> 10904.371094).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.91 .. Rec_loss: 12248.37 .. NELBO: 12257.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.49 .. Rec_loss: 5432.15 .. NELBO: 5432.64
****************************************************************************************************
Validation loss decreased (10904.371094 --> 10865.279297).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.68 .. Rec_loss: 12209.48 .. NELBO: 12210.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5409.42 .. NELBO: 5409.5
****************************************************************************************************
Validation loss decreased (10865.279297 --> 10819.001953).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12139.77 .. NELBO: 12139.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5377.09 .. NELBO: 5377.12
****************************************************************************************************
Validation loss decreased (10819.001953 --> 10754.243164).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12044.2 .. NELBO: 12044.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5340.86 .. NELBO: 5340.88
****************************************************************************************************
Validation loss decreased (10754.243164 --> 10681.772461).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11935.93 .. NELBO: 11935.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.21 .. NELBO: 5311.23
****************************************************************************************************
Validation loss decreased (10681.772461 --> 10622.451172).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11842.41 .. NELBO: 11842.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.31 .. NELBO: 5300.33
****************************************************************************************************
Validation loss decreased (10622.451172 --> 10600.669922).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11788.7 .. NELBO: 11788.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.5 .. NELBO: 5312.52
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.31 .. NELBO: 11780.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.79 .. NELBO: 5335.81
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11792.62 .. NELBO: 11792.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.66 .. NELBO: 5351.68
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11796.05 .. NELBO: 11796.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.79 .. NELBO: 5353.81
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11784.7 .. NELBO: 11784.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.84 .. NELBO: 5347.86
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  35
model: ETM(
  (t_drop): Dropout(p=0.01985358811219521, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=86, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=86, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=86, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1265.85 .. Rec_loss: 12264.41 .. NELBO: 13530.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 28.24 .. Rec_loss: 5446.16 .. NELBO: 5474.4
****************************************************************************************************
Validation loss decreased (inf --> 10948.813477).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 37.03 .. Rec_loss: 12255.87 .. NELBO: 12292.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 12.71 .. Rec_loss: 5437.78 .. NELBO: 5450.49
****************************************************************************************************
Validation loss decreased (10948.813477 --> 10900.989258).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 26.73 .. Rec_loss: 12228.96 .. NELBO: 12255.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 12.43 .. Rec_loss: 5422.04 .. NELBO: 5434.47
****************************************************************************************************
Validation loss decreased (10900.989258 --> 10868.930664).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 22.34 .. Rec_loss: 12179.4 .. NELBO: 12201.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.48 .. Rec_loss: 5397.27 .. NELBO: 5404.75
****************************************************************************************************
Validation loss decreased (10868.930664 --> 10809.484375).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 13.43 .. Rec_loss: 12103.29 .. NELBO: 12116.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.35 .. Rec_loss: 5364.83 .. NELBO: 5369.18
****************************************************************************************************
Validation loss decreased (10809.484375 --> 10738.347656).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 7.79 .. Rec_loss: 12006.2 .. NELBO: 12013.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.62 .. Rec_loss: 5330.78 .. NELBO: 5333.4
****************************************************************************************************
Validation loss decreased (10738.347656 --> 10666.787109).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 4.84 .. Rec_loss: 11902.91 .. NELBO: 11907.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.72 .. Rec_loss: 5305.97 .. NELBO: 5307.69
****************************************************************************************************
Validation loss decreased (10666.787109 --> 10615.380859).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 3.24 .. Rec_loss: 11819.86 .. NELBO: 11823.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.23 .. Rec_loss: 5301.66 .. NELBO: 5302.89
****************************************************************************************************
Validation loss decreased (10615.380859 --> 10605.789062).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 2.35 .. Rec_loss: 11779.5 .. NELBO: 11781.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.91 .. Rec_loss: 5318.73 .. NELBO: 5319.64
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 1.75 .. Rec_loss: 11781.34 .. NELBO: 11783.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.66 .. Rec_loss: 5341.8 .. NELBO: 5342.46
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 1.26 .. Rec_loss: 11794.93 .. NELBO: 11796.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.47 .. Rec_loss: 5354.02 .. NELBO: 5354.49
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.9 .. Rec_loss: 11794.72 .. NELBO: 11795.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.34 .. Rec_loss: 5352.9 .. NELBO: 5353.24
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.67 .. Rec_loss: 11780.65 .. NELBO: 11781.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.28 .. Rec_loss: 5345.59 .. NELBO: 5345.87
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.01985358811219521, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=86, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=86, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=86, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1161.74 .. Rec_loss: 12263.89 .. NELBO: 13425.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 25.0 .. Rec_loss: 5445.12 .. NELBO: 5470.12
****************************************************************************************************
Validation loss decreased (inf --> 10940.250000).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 30.55 .. Rec_loss: 12252.89 .. NELBO: 12283.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.13 .. Rec_loss: 5436.2 .. NELBO: 5444.33
****************************************************************************************************
Validation loss decreased (10940.250000 --> 10888.661133).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 17.16 .. Rec_loss: 12223.07 .. NELBO: 12240.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.95 .. Rec_loss: 5418.35 .. NELBO: 5426.3
****************************************************************************************************
Validation loss decreased (10888.661133 --> 10852.599609).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 14.8 .. Rec_loss: 12166.52 .. NELBO: 12181.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 5.62 .. Rec_loss: 5390.49 .. NELBO: 5396.11
****************************************************************************************************
Validation loss decreased (10852.599609 --> 10792.218750).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 10.46 .. Rec_loss: 12082.0 .. NELBO: 12092.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.8 .. Rec_loss: 5356.01 .. NELBO: 5359.81
****************************************************************************************************
Validation loss decreased (10792.218750 --> 10719.603516).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 7.05 .. Rec_loss: 11979.65 .. NELBO: 11986.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.59 .. Rec_loss: 5322.81 .. NELBO: 5325.4
****************************************************************************************************
Validation loss decreased (10719.603516 --> 10650.797852).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 4.9 .. Rec_loss: 11877.77 .. NELBO: 11882.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.85 .. Rec_loss: 5302.47 .. NELBO: 5304.32
****************************************************************************************************
Validation loss decreased (10650.797852 --> 10608.640625).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 3.48 .. Rec_loss: 11804.09 .. NELBO: 11807.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.28 .. Rec_loss: 5304.49 .. NELBO: 5305.77
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 2.34 .. Rec_loss: 11776.95 .. NELBO: 11779.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.77 .. Rec_loss: 5324.96 .. NELBO: 5325.73
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 1.41 .. Rec_loss: 11785.11 .. NELBO: 11786.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 5346.1 .. NELBO: 5346.55
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.8 .. Rec_loss: 11795.13 .. NELBO: 11795.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.23 .. Rec_loss: 5354.58 .. NELBO: 5354.81
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.4 .. Rec_loss: 11790.78 .. NELBO: 11791.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 5351.46 .. NELBO: 5351.57
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.01985358811219521, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=86, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=86, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=86, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1167.5 .. Rec_loss: 12265.01 .. NELBO: 13432.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 27.62 .. Rec_loss: 5445.96 .. NELBO: 5473.58
****************************************************************************************************
Validation loss decreased (inf --> 10947.156250).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 34.85 .. Rec_loss: 12255.41 .. NELBO: 12290.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 10.99 .. Rec_loss: 5438.0 .. NELBO: 5448.99
****************************************************************************************************
Validation loss decreased (10947.156250 --> 10897.970703).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 24.45 .. Rec_loss: 12229.49 .. NELBO: 12253.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 12.38 .. Rec_loss: 5422.13 .. NELBO: 5434.51
****************************************************************************************************
Validation loss decreased (10897.970703 --> 10869.023438).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 23.08 .. Rec_loss: 12178.8 .. NELBO: 12201.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.1 .. Rec_loss: 5396.62 .. NELBO: 5404.72
****************************************************************************************************
Validation loss decreased (10869.023438 --> 10809.446289).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 14.63 .. Rec_loss: 12101.3 .. NELBO: 12115.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.92 .. Rec_loss: 5363.65 .. NELBO: 5368.57
****************************************************************************************************
Validation loss decreased (10809.446289 --> 10737.133789).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 9.06 .. Rec_loss: 12002.31 .. NELBO: 12011.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.2 .. Rec_loss: 5329.57 .. NELBO: 5332.77
****************************************************************************************************
Validation loss decreased (10737.133789 --> 10665.533203).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 6.01 .. Rec_loss: 11898.63 .. NELBO: 11904.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.26 .. Rec_loss: 5305.41 .. NELBO: 5307.67
****************************************************************************************************
Validation loss decreased (10665.533203 --> 10615.326172).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 4.16 .. Rec_loss: 11817.06 .. NELBO: 11821.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.52 .. Rec_loss: 5302.08 .. NELBO: 5303.6
****************************************************************************************************
Validation loss decreased (10615.326172 --> 10607.197266).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 2.78 .. Rec_loss: 11779.02 .. NELBO: 11781.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.94 .. Rec_loss: 5319.62 .. NELBO: 5320.56
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 1.68 .. Rec_loss: 11781.77 .. NELBO: 11783.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.5 .. Rec_loss: 5342.23 .. NELBO: 5342.73
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.87 .. Rec_loss: 11794.82 .. NELBO: 11795.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.25 .. Rec_loss: 5353.63 .. NELBO: 5353.88
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.44 .. Rec_loss: 11793.39 .. NELBO: 11793.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 5352.16 .. NELBO: 5352.3
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.34 .. Rec_loss: 11779.69 .. NELBO: 11780.03
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.17 .. Rec_loss: 5344.88 .. NELBO: 5345.05
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  36
model: ETM(
  (t_drop): Dropout(p=0.0564668533294877, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=85, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=85, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=85, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 92.63 .. Rec_loss: 12264.38 .. NELBO: 12357.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.2 .. Rec_loss: 5444.02 .. NELBO: 5452.22
****************************************************************************************************
Validation loss decreased (inf --> 10904.447266).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.87 .. Rec_loss: 12248.51 .. NELBO: 12257.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.48 .. Rec_loss: 5431.66 .. NELBO: 5432.14
****************************************************************************************************
Validation loss decreased (10904.447266 --> 10864.260742).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.68 .. Rec_loss: 12208.03 .. NELBO: 12208.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5408.42 .. NELBO: 5408.5
****************************************************************************************************
Validation loss decreased (10864.260742 --> 10817.003906).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12137.12 .. NELBO: 12137.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5375.68 .. NELBO: 5375.71
****************************************************************************************************
Validation loss decreased (10817.003906 --> 10751.423828).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12041.04 .. NELBO: 12041.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5339.44 .. NELBO: 5339.46
****************************************************************************************************
Validation loss decreased (10751.423828 --> 10678.915039).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11933.79 .. NELBO: 11933.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.32 .. NELBO: 5310.34
****************************************************************************************************
Validation loss decreased (10678.915039 --> 10620.687500).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11841.37 .. NELBO: 11841.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.35 .. NELBO: 5300.37
****************************************************************************************************
Validation loss decreased (10620.687500 --> 10600.739258).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11789.54 .. NELBO: 11789.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.14 .. NELBO: 5313.16
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.96 .. NELBO: 11782.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.07 .. NELBO: 5336.09
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.63 .. NELBO: 11793.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.04 .. NELBO: 5351.06
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.62 .. NELBO: 11795.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.55 .. NELBO: 5352.57
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11783.44 .. NELBO: 11783.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.52 .. NELBO: 5346.54
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.0564668533294877, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=85, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=85, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=85, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 84.14 .. Rec_loss: 12264.41 .. NELBO: 12348.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.43 .. Rec_loss: 5444.28 .. NELBO: 5451.71
****************************************************************************************************
Validation loss decreased (inf --> 10903.413086).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.02 .. Rec_loss: 12249.71 .. NELBO: 12257.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.41 .. Rec_loss: 5432.85 .. NELBO: 5433.26
****************************************************************************************************
Validation loss decreased (10903.413086 --> 10866.508789).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.58 .. Rec_loss: 12212.44 .. NELBO: 12213.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5410.74 .. NELBO: 5410.81
****************************************************************************************************
Validation loss decreased (10866.508789 --> 10821.617188).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12144.21 .. NELBO: 12144.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5378.77 .. NELBO: 5378.8
****************************************************************************************************
Validation loss decreased (10821.617188 --> 10757.587891).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12049.94 .. NELBO: 12049.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5342.38 .. NELBO: 5342.4
****************************************************************************************************
Validation loss decreased (10757.587891 --> 10684.790039).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11941.96 .. NELBO: 11942.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.94 .. NELBO: 5311.96
****************************************************************************************************
Validation loss decreased (10684.790039 --> 10623.916016).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11846.78 .. NELBO: 11846.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5299.97 .. NELBO: 5299.99
****************************************************************************************************
Validation loss decreased (10623.916016 --> 10599.977539).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11790.58 .. NELBO: 11790.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.5 .. NELBO: 5311.52
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.02 .. NELBO: 11781.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5334.81 .. NELBO: 5334.83
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.63 .. NELBO: 11792.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.0 .. NELBO: 5351.02
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.27 .. NELBO: 11796.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.42 .. NELBO: 5353.44
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11784.8 .. NELBO: 11784.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.66 .. NELBO: 5347.68
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.0564668533294877, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=85, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=85, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=85, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 92.03 .. Rec_loss: 12264.32 .. NELBO: 12356.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.45 .. Rec_loss: 5444.24 .. NELBO: 5451.69
****************************************************************************************************
Validation loss decreased (inf --> 10903.387695).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.16 .. Rec_loss: 12249.35 .. NELBO: 12257.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.5 .. Rec_loss: 5432.61 .. NELBO: 5433.11
****************************************************************************************************
Validation loss decreased (10903.387695 --> 10866.220703).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.71 .. Rec_loss: 12211.44 .. NELBO: 12212.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5410.48 .. NELBO: 5410.56
****************************************************************************************************
Validation loss decreased (10866.220703 --> 10821.117188).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 12143.62 .. NELBO: 12143.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5378.58 .. NELBO: 5378.61
****************************************************************************************************
Validation loss decreased (10821.117188 --> 10757.226562).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12048.94 .. NELBO: 12048.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5342.39 .. NELBO: 5342.41
****************************************************************************************************
Validation loss decreased (10757.226562 --> 10684.818359).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11942.02 .. NELBO: 11942.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.21 .. NELBO: 5312.23
****************************************************************************************************
Validation loss decreased (10684.818359 --> 10624.465820).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11847.78 .. NELBO: 11847.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.32 .. NELBO: 5300.34
****************************************************************************************************
Validation loss decreased (10624.465820 --> 10600.680664).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11790.85 .. NELBO: 11790.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.61 .. NELBO: 5311.63
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.89 .. NELBO: 11780.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5334.62 .. NELBO: 5334.64
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.53 .. NELBO: 11792.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.77 .. NELBO: 5350.79
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.14 .. NELBO: 11796.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.27 .. NELBO: 5353.29
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11784.71 .. NELBO: 11784.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.56 .. NELBO: 5347.58
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  37
model: ETM(
  (t_drop): Dropout(p=0.059082864516156436, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=100, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=100, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=100, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 98.62 .. Rec_loss: 12264.49 .. NELBO: 12363.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.15 .. Rec_loss: 5444.37 .. NELBO: 5452.52
****************************************************************************************************
Validation loss decreased (inf --> 10905.038086).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.92 .. Rec_loss: 12249.66 .. NELBO: 12258.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.5 .. Rec_loss: 5432.78 .. NELBO: 5433.28
****************************************************************************************************
Validation loss decreased (10905.038086 --> 10866.571289).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.71 .. Rec_loss: 12211.38 .. NELBO: 12212.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5410.28 .. NELBO: 5410.36
****************************************************************************************************
Validation loss decreased (10866.571289 --> 10820.731445).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 12142.58 .. NELBO: 12142.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5378.02 .. NELBO: 5378.05
****************************************************************************************************
Validation loss decreased (10820.731445 --> 10756.093750).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 12046.45 .. NELBO: 12046.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5341.6 .. NELBO: 5341.62
****************************************************************************************************
Validation loss decreased (10756.093750 --> 10683.252930).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11939.4 .. NELBO: 11939.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.59 .. NELBO: 5311.61
****************************************************************************************************
Validation loss decreased (10683.252930 --> 10623.236328).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11844.66 .. NELBO: 11844.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.34 .. NELBO: 5300.36
****************************************************************************************************
Validation loss decreased (10623.236328 --> 10600.728516).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11790.26 .. NELBO: 11790.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.37 .. NELBO: 5312.39
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11781.49 .. NELBO: 11781.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.59 .. NELBO: 5335.61
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11793.49 .. NELBO: 11793.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.28 .. NELBO: 5351.3
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11796.39 .. NELBO: 11796.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.21 .. NELBO: 5353.23
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11784.65 .. NELBO: 11784.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.19 .. NELBO: 5347.21
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.059082864516156436, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=100, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=100, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=100, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 93.74 .. Rec_loss: 12264.25 .. NELBO: 12357.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.18 .. Rec_loss: 5444.3 .. NELBO: 5452.48
****************************************************************************************************
Validation loss decreased (inf --> 10904.957031).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.87 .. Rec_loss: 12249.07 .. NELBO: 12257.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.41 .. Rec_loss: 5432.59 .. NELBO: 5433.0
****************************************************************************************************
Validation loss decreased (10904.957031 --> 10865.998047).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.58 .. Rec_loss: 12210.44 .. NELBO: 12211.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5410.22 .. NELBO: 5410.29
****************************************************************************************************
Validation loss decreased (10865.998047 --> 10820.565430).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12141.69 .. NELBO: 12141.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5378.03 .. NELBO: 5378.06
****************************************************************************************************
Validation loss decreased (10820.565430 --> 10756.115234).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12045.92 .. NELBO: 12045.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5341.69 .. NELBO: 5341.71
****************************************************************************************************
Validation loss decreased (10756.115234 --> 10683.430664).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11937.94 .. NELBO: 11937.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.71 .. NELBO: 5311.73
****************************************************************************************************
Validation loss decreased (10683.430664 --> 10623.453125).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11843.2 .. NELBO: 11843.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.45 .. NELBO: 5300.47
****************************************************************************************************
Validation loss decreased (10623.453125 --> 10600.933594).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11788.93 .. NELBO: 11788.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.54 .. NELBO: 5312.56
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.33 .. NELBO: 11780.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.9 .. NELBO: 5335.92
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.48 .. NELBO: 11792.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.69 .. NELBO: 5351.71
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.07 .. NELBO: 11796.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.63 .. NELBO: 5353.65
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11785.02 .. NELBO: 11785.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.52 .. NELBO: 5347.54
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.059082864516156436, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=100, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=100, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=100, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 95.47 .. Rec_loss: 12264.15 .. NELBO: 12359.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.92 .. Rec_loss: 5444.04 .. NELBO: 5451.96
****************************************************************************************************
Validation loss decreased (inf --> 10903.906250).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.65 .. Rec_loss: 12247.64 .. NELBO: 12256.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.47 .. Rec_loss: 5431.19 .. NELBO: 5431.66
****************************************************************************************************
Validation loss decreased (10903.906250 --> 10863.323242).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.67 .. Rec_loss: 12205.26 .. NELBO: 12205.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5407.28 .. NELBO: 5407.36
****************************************************************************************************
Validation loss decreased (10863.323242 --> 10814.722656).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12132.29 .. NELBO: 12132.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5373.88 .. NELBO: 5373.91
****************************************************************************************************
Validation loss decreased (10814.722656 --> 10747.817383).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 12033.32 .. NELBO: 12033.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.44 .. NELBO: 5337.46
****************************************************************************************************
Validation loss decreased (10747.817383 --> 10674.930664).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11925.07 .. NELBO: 11925.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5309.23 .. NELBO: 5309.25
****************************************************************************************************
Validation loss decreased (10674.930664 --> 10618.511719).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11834.27 .. NELBO: 11834.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5301.2 .. NELBO: 5301.22
****************************************************************************************************
Validation loss decreased (10618.511719 --> 10602.445312).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11786.13 .. NELBO: 11786.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5315.75 .. NELBO: 5315.77
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11782.5 .. NELBO: 11782.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5338.8 .. NELBO: 5338.82
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11794.88 .. NELBO: 11794.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.48 .. NELBO: 5352.5
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.77 .. NELBO: 11795.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.71 .. NELBO: 5352.73
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11782.59 .. NELBO: 11782.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.09 .. NELBO: 5346.11
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  38
model: ETM(
  (t_drop): Dropout(p=0.06515394005853979, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=56, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=56, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=56, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 72.11 .. Rec_loss: 12264.16 .. NELBO: 12336.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.43 .. Rec_loss: 5443.67 .. NELBO: 5451.1
****************************************************************************************************
Validation loss decreased (inf --> 10902.193359).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.86 .. Rec_loss: 12248.07 .. NELBO: 12255.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.3 .. Rec_loss: 5432.12 .. NELBO: 5432.42
****************************************************************************************************
Validation loss decreased (10902.193359 --> 10864.842773).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.46 .. Rec_loss: 12210.0 .. NELBO: 12210.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5409.87 .. NELBO: 5409.94
****************************************************************************************************
Validation loss decreased (10864.842773 --> 10819.887695).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12141.75 .. NELBO: 12141.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5378.08 .. NELBO: 5378.1
****************************************************************************************************
Validation loss decreased (10819.887695 --> 10756.193359).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12047.6 .. NELBO: 12047.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5342.15 .. NELBO: 5342.16
****************************************************************************************************
Validation loss decreased (10756.193359 --> 10684.322266).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11941.1 .. NELBO: 11941.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5312.14 .. NELBO: 5312.15
****************************************************************************************************
Validation loss decreased (10684.322266 --> 10624.297852).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11846.49 .. NELBO: 11846.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.14 .. NELBO: 5300.15
****************************************************************************************************
Validation loss decreased (10624.297852 --> 10600.294922).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11790.81 .. NELBO: 11790.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5311.14 .. NELBO: 5311.15
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11780.31 .. NELBO: 11780.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5334.2 .. NELBO: 5334.21
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11791.86 .. NELBO: 11791.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5350.77 .. NELBO: 5350.78
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11796.38 .. NELBO: 11796.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.66 .. NELBO: 5353.67
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11785.93 .. NELBO: 11785.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5348.02 .. NELBO: 5348.03
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06515394005853979, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=56, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=56, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=56, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 75.44 .. Rec_loss: 12264.08 .. NELBO: 12339.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.19 .. Rec_loss: 5443.83 .. NELBO: 5451.02
****************************************************************************************************
Validation loss decreased (inf --> 10902.040039).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.83 .. Rec_loss: 12248.23 .. NELBO: 12256.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 5431.92 .. NELBO: 5432.37
****************************************************************************************************
Validation loss decreased (10902.040039 --> 10864.732422).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.67 .. Rec_loss: 12208.79 .. NELBO: 12209.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 5408.7 .. NELBO: 5408.8
****************************************************************************************************
Validation loss decreased (10864.732422 --> 10817.586914).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.15 .. Rec_loss: 12137.35 .. NELBO: 12137.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5375.84 .. NELBO: 5375.88
****************************************************************************************************
Validation loss decreased (10817.586914 --> 10751.750000).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 12040.99 .. NELBO: 12041.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5339.33 .. NELBO: 5339.36
****************************************************************************************************
Validation loss decreased (10751.750000 --> 10678.727539).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11933.23 .. NELBO: 11933.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5309.99 .. NELBO: 5310.02
****************************************************************************************************
Validation loss decreased (10678.727539 --> 10620.048828).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 11839.9 .. NELBO: 11839.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5300.09 .. NELBO: 5300.13
****************************************************************************************************
Validation loss decreased (10620.048828 --> 10600.270508).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 11788.01 .. NELBO: 11788.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5313.33 .. NELBO: 5313.39
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 11781.66 .. NELBO: 11781.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5336.64 .. NELBO: 5336.7
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 11793.67 .. NELBO: 11793.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5351.62 .. NELBO: 5351.68
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 11796.64 .. NELBO: 11796.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5352.85 .. NELBO: 5352.9
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 11783.87 .. NELBO: 11783.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5346.57 .. NELBO: 5346.61
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06515394005853979, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=56, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=56, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=56, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 64.76 .. Rec_loss: 12264.6 .. NELBO: 12329.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.79 .. Rec_loss: 5444.0 .. NELBO: 5450.79
****************************************************************************************************
Validation loss decreased (inf --> 10901.580078).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.4 .. Rec_loss: 12249.36 .. NELBO: 12256.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 5432.87 .. NELBO: 5433.25
****************************************************************************************************
Validation loss decreased (10901.580078 --> 10866.492188).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.54 .. Rec_loss: 12212.24 .. NELBO: 12212.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5411.11 .. NELBO: 5411.17
****************************************************************************************************
Validation loss decreased (10866.492188 --> 10822.333984).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 12144.76 .. NELBO: 12144.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5379.59 .. NELBO: 5379.61
****************************************************************************************************
Validation loss decreased (10822.333984 --> 10759.221680).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12051.74 .. NELBO: 12051.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5343.58 .. NELBO: 5343.59
****************************************************************************************************
Validation loss decreased (10759.221680 --> 10687.186523).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11945.7 .. NELBO: 11945.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5313.14 .. NELBO: 5313.15
****************************************************************************************************
Validation loss decreased (10687.186523 --> 10626.294922).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11850.02 .. NELBO: 11850.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.41 .. NELBO: 5300.42
****************************************************************************************************
Validation loss decreased (10626.294922 --> 10600.845703).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11792.17 .. NELBO: 11792.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5310.71 .. NELBO: 5310.72
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11780.83 .. NELBO: 11780.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5333.45 .. NELBO: 5333.46
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11791.89 .. NELBO: 11791.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5350.12 .. NELBO: 5350.13
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.2 .. NELBO: 11796.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.2 .. NELBO: 5353.21
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11785.29 .. NELBO: 11785.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5347.75 .. NELBO: 5347.76
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  39
model: ETM(
  (t_drop): Dropout(p=0.05878505586091312, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=79, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=79, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=79, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 906.39 .. Rec_loss: 12264.69 .. NELBO: 13171.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 27.98 .. Rec_loss: 5445.79 .. NELBO: 5473.77
****************************************************************************************************
Validation loss decreased (inf --> 10947.537109).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 37.51 .. Rec_loss: 12254.68 .. NELBO: 12292.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 11.07 .. Rec_loss: 5437.44 .. NELBO: 5448.51
****************************************************************************************************
Validation loss decreased (10947.537109 --> 10897.005859).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 22.77 .. Rec_loss: 12227.75 .. NELBO: 12250.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 9.49 .. Rec_loss: 5421.04 .. NELBO: 5430.53
****************************************************************************************************
Validation loss decreased (10897.005859 --> 10861.067383).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 16.7 .. Rec_loss: 12175.94 .. NELBO: 12192.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.54 .. Rec_loss: 5395.51 .. NELBO: 5400.05
****************************************************************************************************
Validation loss decreased (10861.067383 --> 10800.093750).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 8.12 .. Rec_loss: 12097.93 .. NELBO: 12106.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.32 .. Rec_loss: 5362.81 .. NELBO: 5365.13
****************************************************************************************************
Validation loss decreased (10800.093750 --> 10730.245117).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 4.33 .. Rec_loss: 12000.18 .. NELBO: 12004.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.41 .. Rec_loss: 5329.21 .. NELBO: 5330.62
****************************************************************************************************
Validation loss decreased (10730.245117 --> 10661.241211).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 2.67 .. Rec_loss: 11897.8 .. NELBO: 11900.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.91 .. Rec_loss: 5305.47 .. NELBO: 5306.38
****************************************************************************************************
Validation loss decreased (10661.241211 --> 10612.772461).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 1.73 .. Rec_loss: 11817.03 .. NELBO: 11818.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.59 .. Rec_loss: 5302.26 .. NELBO: 5302.85
****************************************************************************************************
Validation loss decreased (10612.772461 --> 10605.708984).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 1.12 .. Rec_loss: 11779.38 .. NELBO: 11780.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.36 .. Rec_loss: 5319.66 .. NELBO: 5320.02
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.66 .. Rec_loss: 11781.8 .. NELBO: 11782.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.19 .. Rec_loss: 5342.29 .. NELBO: 5342.48
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.33 .. Rec_loss: 11795.21 .. NELBO: 11795.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5354.04 .. NELBO: 5354.12
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 11793.87 .. NELBO: 11794.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5352.86 .. NELBO: 5352.9
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11780.73 .. NELBO: 11780.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5345.72 .. NELBO: 5345.74
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05878505586091312, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=79, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=79, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=79, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1322.29 .. Rec_loss: 12264.12 .. NELBO: 13586.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 28.35 .. Rec_loss: 5445.54 .. NELBO: 5473.89
****************************************************************************************************
Validation loss decreased (inf --> 10947.769531).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 42.67 .. Rec_loss: 12254.19 .. NELBO: 12296.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 21.73 .. Rec_loss: 5436.88 .. NELBO: 5458.61
****************************************************************************************************
Validation loss decreased (10947.769531 --> 10917.221680).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 44.91 .. Rec_loss: 12225.47 .. NELBO: 12270.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 18.93 .. Rec_loss: 5419.99 .. NELBO: 5438.92
****************************************************************************************************
Validation loss decreased (10917.221680 --> 10877.832031).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 36.31 .. Rec_loss: 12173.0 .. NELBO: 12209.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 13.38 .. Rec_loss: 5394.56 .. NELBO: 5407.94
****************************************************************************************************
Validation loss decreased (10877.832031 --> 10815.890625).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 26.97 .. Rec_loss: 12095.55 .. NELBO: 12122.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 11.3 .. Rec_loss: 5361.76 .. NELBO: 5373.06
****************************************************************************************************
Validation loss decreased (10815.890625 --> 10746.116211).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 23.46 .. Rec_loss: 11997.39 .. NELBO: 12020.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 10.32 .. Rec_loss: 5328.15 .. NELBO: 5338.47
****************************************************************************************************
Validation loss decreased (10746.116211 --> 10676.927734).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 21.35 .. Rec_loss: 11894.81 .. NELBO: 11916.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 9.42 .. Rec_loss: 5304.75 .. NELBO: 5314.17
****************************************************************************************************
Validation loss decreased (10676.927734 --> 10628.338867).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 19.09 .. Rec_loss: 11815.33 .. NELBO: 11834.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.91 .. Rec_loss: 5301.77 .. NELBO: 5309.68
****************************************************************************************************
Validation loss decreased (10628.338867 --> 10619.361328).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 15.76 .. Rec_loss: 11778.87 .. NELBO: 11794.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 5.96 .. Rec_loss: 5318.51 .. NELBO: 5324.47
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 11.95 .. Rec_loss: 11780.51 .. NELBO: 11792.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.6 .. Rec_loss: 5338.85 .. NELBO: 5343.45
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 9.74 .. Rec_loss: 11790.43 .. NELBO: 11800.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.19 .. Rec_loss: 5348.14 .. NELBO: 5352.33
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 9.19 .. Rec_loss: 11787.56 .. NELBO: 11796.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.14 .. Rec_loss: 5346.33 .. NELBO: 5350.47
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 9.26 .. Rec_loss: 11773.68 .. NELBO: 11782.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.12 .. Rec_loss: 5339.89 .. NELBO: 5344.01
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05878505586091312, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=79, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=79, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=79, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1102.54 .. Rec_loss: 12264.43 .. NELBO: 13366.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 20.67 .. Rec_loss: 5445.23 .. NELBO: 5465.9
****************************************************************************************************
Validation loss decreased (inf --> 10931.804688).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 24.87 .. Rec_loss: 12253.13 .. NELBO: 12278.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 5.23 .. Rec_loss: 5436.46 .. NELBO: 5441.69
****************************************************************************************************
Validation loss decreased (10931.804688 --> 10883.381836).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 10.47 .. Rec_loss: 12224.74 .. NELBO: 12235.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.76 .. Rec_loss: 5419.37 .. NELBO: 5423.13
****************************************************************************************************
Validation loss decreased (10883.381836 --> 10846.261719).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 6.62 .. Rec_loss: 12171.0 .. NELBO: 12177.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.77 .. Rec_loss: 5392.78 .. NELBO: 5394.55
****************************************************************************************************
Validation loss decreased (10846.261719 --> 10789.100586).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 3.17 .. Rec_loss: 12090.31 .. NELBO: 12093.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.79 .. Rec_loss: 5359.2 .. NELBO: 5359.99
****************************************************************************************************
Validation loss decreased (10789.100586 --> 10719.994141).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 1.4 .. Rec_loss: 11990.15 .. NELBO: 11991.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.42 .. Rec_loss: 5325.69 .. NELBO: 5326.11
****************************************************************************************************
Validation loss decreased (10719.994141 --> 10652.216797).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.82 .. Rec_loss: 11887.48 .. NELBO: 11888.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.26 .. Rec_loss: 5303.53 .. NELBO: 5303.79
****************************************************************************************************
Validation loss decreased (10652.216797 --> 10607.581055).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.44 .. Rec_loss: 11810.42 .. NELBO: 11810.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5302.85 .. NELBO: 5302.94
****************************************************************************************************
Validation loss decreased (10607.581055 --> 10605.889648).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.15 .. Rec_loss: 11777.66 .. NELBO: 11777.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5321.94 .. NELBO: 5321.98
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 11782.73 .. NELBO: 11782.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5344.27 .. NELBO: 5344.29
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11795.33 .. NELBO: 11795.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5354.71 .. NELBO: 5354.73
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.15 .. NELBO: 11793.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.69 .. NELBO: 5352.71
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11779.03 .. NELBO: 11779.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5345.47 .. NELBO: 5345.49
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  40
model: ETM(
  (t_drop): Dropout(p=0.04413623598327181, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=81, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=81, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=81, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 91.75 .. Rec_loss: 12264.09 .. NELBO: 12355.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.2 .. Rec_loss: 5444.21 .. NELBO: 5452.41
****************************************************************************************************
Validation loss decreased (inf --> 10904.821289).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.84 .. Rec_loss: 12249.7 .. NELBO: 12258.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.47 .. Rec_loss: 5433.32 .. NELBO: 5433.79
****************************************************************************************************
Validation loss decreased (10904.821289 --> 10867.583984).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.67 .. Rec_loss: 12213.76 .. NELBO: 12214.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5411.7 .. NELBO: 5411.77
****************************************************************************************************
Validation loss decreased (10867.583984 --> 10823.546875).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12147.09 .. NELBO: 12147.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5380.35 .. NELBO: 5380.37
****************************************************************************************************
Validation loss decreased (10823.546875 --> 10760.740234).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12053.5 .. NELBO: 12053.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5344.35 .. NELBO: 5344.37
****************************************************************************************************
Validation loss decreased (10760.740234 --> 10688.740234).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11946.95 .. NELBO: 11946.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.62 .. NELBO: 5313.64
****************************************************************************************************
Validation loss decreased (10688.740234 --> 10627.280273).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11851.08 .. NELBO: 11851.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.45 .. NELBO: 5300.47
****************************************************************************************************
Validation loss decreased (10627.280273 --> 10600.936523).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11792.24 .. NELBO: 11792.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.56 .. NELBO: 5310.58
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11780.1 .. NELBO: 11780.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5333.6 .. NELBO: 5333.62
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11791.79 .. NELBO: 11791.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.73 .. NELBO: 5350.75
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.79 .. NELBO: 11796.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.94 .. NELBO: 5353.96
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11786.15 .. NELBO: 11786.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5348.34 .. NELBO: 5348.36
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.04413623598327181, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=81, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=81, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=81, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 99.15 .. Rec_loss: 12264.02 .. NELBO: 12363.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.81 .. Rec_loss: 5443.86 .. NELBO: 5451.67
****************************************************************************************************
Validation loss decreased (inf --> 10903.333008).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.52 .. Rec_loss: 12248.14 .. NELBO: 12256.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.56 .. Rec_loss: 5431.99 .. NELBO: 5432.55
****************************************************************************************************
Validation loss decreased (10903.333008 --> 10865.085938).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.79 .. Rec_loss: 12209.15 .. NELBO: 12209.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5409.2 .. NELBO: 5409.29
****************************************************************************************************
Validation loss decreased (10865.085938 --> 10818.588867).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 12138.85 .. NELBO: 12138.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5376.78 .. NELBO: 5376.81
****************************************************************************************************
Validation loss decreased (10818.588867 --> 10753.630859).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 12043.0 .. NELBO: 12043.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5340.47 .. NELBO: 5340.49
****************************************************************************************************
Validation loss decreased (10753.630859 --> 10680.987305).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11935.36 .. NELBO: 11935.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.88 .. NELBO: 5310.9
****************************************************************************************************
Validation loss decreased (10680.987305 --> 10621.811523).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11842.37 .. NELBO: 11842.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.25 .. NELBO: 5300.27
****************************************************************************************************
Validation loss decreased (10621.811523 --> 10600.543945).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11788.55 .. NELBO: 11788.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.69 .. NELBO: 5312.71
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.85 .. NELBO: 11780.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.98 .. NELBO: 5336.0
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.23 .. NELBO: 11793.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.54 .. NELBO: 5351.56
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.3 .. NELBO: 11796.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.32 .. NELBO: 5353.34
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11784.46 .. NELBO: 11784.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.29 .. NELBO: 5347.31
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.04413623598327181, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=81, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=81, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=81, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 98.89 .. Rec_loss: 12264.02 .. NELBO: 12362.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.42 .. Rec_loss: 5444.14 .. NELBO: 5452.56
****************************************************************************************************
Validation loss decreased (inf --> 10905.119141).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 9.04 .. Rec_loss: 12248.83 .. NELBO: 12257.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.51 .. Rec_loss: 5432.3 .. NELBO: 5432.81
****************************************************************************************************
Validation loss decreased (10905.119141 --> 10865.618164).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.73 .. Rec_loss: 12210.02 .. NELBO: 12210.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5409.78 .. NELBO: 5409.87
****************************************************************************************************
Validation loss decreased (10865.618164 --> 10819.731445).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 12140.75 .. NELBO: 12140.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5377.46 .. NELBO: 5377.49
****************************************************************************************************
Validation loss decreased (10819.731445 --> 10754.980469).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12045.05 .. NELBO: 12045.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5341.02 .. NELBO: 5341.04
****************************************************************************************************
Validation loss decreased (10754.980469 --> 10682.084961).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11937.47 .. NELBO: 11937.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.07 .. NELBO: 5311.09
****************************************************************************************************
Validation loss decreased (10682.084961 --> 10622.181641).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11842.49 .. NELBO: 11842.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.08 .. NELBO: 5300.1
****************************************************************************************************
Validation loss decreased (10622.181641 --> 10600.193359).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11788.35 .. NELBO: 11788.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.55 .. NELBO: 5312.57
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.59 .. NELBO: 11780.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.12 .. NELBO: 5336.14
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.13 .. NELBO: 11793.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.84 .. NELBO: 5351.86
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.19 .. NELBO: 11796.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.67 .. NELBO: 5353.69
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11784.46 .. NELBO: 11784.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.59 .. NELBO: 5347.61
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  41
model: ETM(
  (t_drop): Dropout(p=0.09260951820619535, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=81, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=81, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=81, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1029.87 .. Rec_loss: 12265.13 .. NELBO: 13295.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 19.4 .. Rec_loss: 5445.72 .. NELBO: 5465.12
****************************************************************************************************
Validation loss decreased (inf --> 10930.242188).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 21.82 .. Rec_loss: 12254.96 .. NELBO: 12276.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.79 .. Rec_loss: 5437.45 .. NELBO: 5439.24
****************************************************************************************************
Validation loss decreased (10930.242188 --> 10878.483398).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 3.44 .. Rec_loss: 12227.22 .. NELBO: 12230.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.11 .. Rec_loss: 5420.58 .. NELBO: 5421.69
****************************************************************************************************
Validation loss decreased (10878.483398 --> 10843.367188).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 1.93 .. Rec_loss: 12174.09 .. NELBO: 12176.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.51 .. Rec_loss: 5393.87 .. NELBO: 5394.38
****************************************************************************************************
Validation loss decreased (10843.367188 --> 10788.757812).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.92 .. Rec_loss: 12092.87 .. NELBO: 12093.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.21 .. Rec_loss: 5359.86 .. NELBO: 5360.07
****************************************************************************************************
Validation loss decreased (10788.757812 --> 10720.142578).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 11991.98 .. NELBO: 11992.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5325.78 .. NELBO: 5325.87
****************************************************************************************************
Validation loss decreased (10720.142578 --> 10651.741211).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.18 .. Rec_loss: 11887.91 .. NELBO: 11888.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5303.25 .. NELBO: 5303.31
****************************************************************************************************
Validation loss decreased (10651.741211 --> 10606.621094).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 11809.65 .. NELBO: 11809.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5302.87 .. NELBO: 5302.92
****************************************************************************************************
Validation loss decreased (10606.621094 --> 10605.828125).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 11777.29 .. NELBO: 11777.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5322.79 .. NELBO: 5322.83
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 11783.68 .. NELBO: 11783.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5345.49 .. NELBO: 5345.52
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11797.01 .. NELBO: 11797.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5355.59 .. NELBO: 5355.61
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11793.43 .. NELBO: 11793.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.12 .. NELBO: 5353.14
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11778.49 .. NELBO: 11778.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5345.72 .. NELBO: 5345.74
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.09260951820619535, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=81, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=81, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=81, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 998.59 .. Rec_loss: 12265.09 .. NELBO: 13263.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 22.19 .. Rec_loss: 5445.65 .. NELBO: 5467.84
****************************************************************************************************
Validation loss decreased (inf --> 10935.677734).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 26.79 .. Rec_loss: 12254.37 .. NELBO: 12281.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 5.23 .. Rec_loss: 5437.23 .. NELBO: 5442.46
****************************************************************************************************
Validation loss decreased (10935.677734 --> 10884.913086).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 10.99 .. Rec_loss: 12226.65 .. NELBO: 12237.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.08 .. Rec_loss: 5420.4 .. NELBO: 5424.48
****************************************************************************************************
Validation loss decreased (10884.913086 --> 10848.962891).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 8.06 .. Rec_loss: 12173.34 .. NELBO: 12181.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.74 .. Rec_loss: 5393.97 .. NELBO: 5396.71
****************************************************************************************************
Validation loss decreased (10848.962891 --> 10793.425781).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 5.62 .. Rec_loss: 12092.32 .. NELBO: 12097.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.88 .. Rec_loss: 5360.34 .. NELBO: 5362.22
****************************************************************************************************
Validation loss decreased (10793.425781 --> 10724.441406).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 3.79 .. Rec_loss: 11991.27 .. NELBO: 11995.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.31 .. Rec_loss: 5326.54 .. NELBO: 5327.85
****************************************************************************************************
Validation loss decreased (10724.441406 --> 10655.711914).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 2.7 .. Rec_loss: 11887.92 .. NELBO: 11890.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.95 .. Rec_loss: 5304.0 .. NELBO: 5304.95
****************************************************************************************************
Validation loss decreased (10655.711914 --> 10609.900391).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 1.95 .. Rec_loss: 11810.06 .. NELBO: 11812.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.64 .. Rec_loss: 5303.15 .. NELBO: 5303.79
****************************************************************************************************
Validation loss decreased (10609.900391 --> 10607.584961).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 1.31 .. Rec_loss: 11777.28 .. NELBO: 11778.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.4 .. Rec_loss: 5322.4 .. NELBO: 5322.8
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.79 .. Rec_loss: 11782.93 .. NELBO: 11783.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.21 .. Rec_loss: 5344.73 .. NELBO: 5344.94
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.4 .. Rec_loss: 11795.12 .. NELBO: 11795.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5354.91 .. NELBO: 5355.0
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.15 .. Rec_loss: 11793.15 .. NELBO: 11793.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5352.45 .. NELBO: 5352.48
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 11779.45 .. NELBO: 11779.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5344.88 .. NELBO: 5344.93
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.09260951820619535, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=81, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=81, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=81, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1077.07 .. Rec_loss: 12264.44 .. NELBO: 13341.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 22.61 .. Rec_loss: 5445.34 .. NELBO: 5467.95
****************************************************************************************************
Validation loss decreased (inf --> 10935.903320).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 28.07 .. Rec_loss: 12253.9 .. NELBO: 12281.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 5.19 .. Rec_loss: 5437.28 .. NELBO: 5442.47
****************************************************************************************************
Validation loss decreased (10935.903320 --> 10884.931641).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 10.38 .. Rec_loss: 12226.47 .. NELBO: 12236.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.48 .. Rec_loss: 5420.19 .. NELBO: 5423.67
****************************************************************************************************
Validation loss decreased (10884.931641 --> 10847.333008).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 6.37 .. Rec_loss: 12172.07 .. NELBO: 12178.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.61 .. Rec_loss: 5393.24 .. NELBO: 5394.85
****************************************************************************************************
Validation loss decreased (10847.333008 --> 10789.710938).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 2.97 .. Rec_loss: 12090.13 .. NELBO: 12093.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.67 .. Rec_loss: 5359.31 .. NELBO: 5359.98
****************************************************************************************************
Validation loss decreased (10789.710938 --> 10719.956055).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 1.24 .. Rec_loss: 11988.73 .. NELBO: 11989.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.31 .. Rec_loss: 5325.65 .. NELBO: 5325.96
****************************************************************************************************
Validation loss decreased (10719.956055 --> 10651.912109).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.6 .. Rec_loss: 11886.08 .. NELBO: 11886.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.17 .. Rec_loss: 5303.68 .. NELBO: 5303.85
****************************************************************************************************
Validation loss decreased (10651.912109 --> 10607.703125).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.34 .. Rec_loss: 11808.66 .. NELBO: 11809.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 5303.64 .. NELBO: 5303.74
****************************************************************************************************
Validation loss decreased (10607.703125 --> 10607.479492).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.19 .. Rec_loss: 11776.9 .. NELBO: 11777.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5323.4 .. NELBO: 5323.45
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 11783.31 .. NELBO: 11783.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5345.72 .. NELBO: 5345.75
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11796.47 .. NELBO: 11796.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5355.62 .. NELBO: 5355.64
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11793.48 .. NELBO: 11793.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.07 .. NELBO: 5353.09
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11779.16 .. NELBO: 11779.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5345.6 .. NELBO: 5345.62
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  42
model: ETM(
  (t_drop): Dropout(p=0.05731474515169653, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=96, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=96, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=96, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.3 .. Rec_loss: 12263.73 .. NELBO: 12264.03
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.33 .. Rec_loss: 5442.93 .. NELBO: 5445.26
****************************************************************************************************
Validation loss decreased (inf --> 10890.509766).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 2.64 .. Rec_loss: 12242.82 .. NELBO: 12245.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5426.96 .. NELBO: 5426.99
****************************************************************************************************
Validation loss decreased (10890.509766 --> 10853.985352).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.5 .. Rec_loss: 12192.13 .. NELBO: 12192.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.17 .. Rec_loss: 5399.4 .. NELBO: 5399.57
****************************************************************************************************
Validation loss decreased (10853.985352 --> 10799.150391).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 12109.3 .. NELBO: 12109.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.76 .. Rec_loss: 5363.35 .. NELBO: 5364.11
****************************************************************************************************
Validation loss decreased (10799.150391 --> 10728.208008).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 3.48 .. Rec_loss: 12002.64 .. NELBO: 12006.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.65 .. Rec_loss: 5327.81 .. NELBO: 5328.46
****************************************************************************************************
Validation loss decreased (10728.208008 --> 10656.931641).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 1.01 .. Rec_loss: 11898.13 .. NELBO: 11899.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 5304.54 .. NELBO: 5304.67
****************************************************************************************************
Validation loss decreased (10656.931641 --> 10609.340820).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 11818.71 .. NELBO: 11819.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 5303.01 .. NELBO: 5303.39
****************************************************************************************************
Validation loss decreased (10609.340820 --> 10606.784180).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.44 .. Rec_loss: 11783.8 .. NELBO: 11784.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.19 .. Rec_loss: 5320.88 .. NELBO: 5321.07
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.5 .. Rec_loss: 11785.86 .. NELBO: 11786.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 5341.44 .. NELBO: 5341.83
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.67 .. Rec_loss: 11794.07 .. NELBO: 11794.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.6 .. Rec_loss: 5350.39 .. NELBO: 5350.99
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 1.15 .. Rec_loss: 11788.67 .. NELBO: 11789.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.15 .. Rec_loss: 5347.52 .. NELBO: 5348.67
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 2.08 .. Rec_loss: 11774.29 .. NELBO: 11776.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.31 .. Rec_loss: 5340.68 .. NELBO: 5341.99
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05731474515169653, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=96, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=96, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=96, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 12263.68 .. NELBO: 12264.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.09 .. Rec_loss: 5442.93 .. NELBO: 5444.02
****************************************************************************************************
Validation loss decreased (inf --> 10888.041992).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.79 .. Rec_loss: 12243.05 .. NELBO: 12244.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5427.05 .. NELBO: 5427.06
****************************************************************************************************
Validation loss decreased (10888.041992 --> 10854.114258).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 12192.32 .. NELBO: 12192.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.37 .. Rec_loss: 5399.68 .. NELBO: 5400.05
****************************************************************************************************
Validation loss decreased (10854.114258 --> 10800.086914).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.51 .. Rec_loss: 12110.19 .. NELBO: 12110.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.15 .. Rec_loss: 5364.06 .. NELBO: 5364.21
****************************************************************************************************
Validation loss decreased (10800.086914 --> 10728.433594).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 12005.53 .. NELBO: 12005.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.06 .. Rec_loss: 5328.02 .. NELBO: 5329.08
****************************************************************************************************
Validation loss decreased (10728.433594 --> 10658.157227).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 1.76 .. Rec_loss: 11898.66 .. NELBO: 11900.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.27 .. Rec_loss: 5304.61 .. NELBO: 5304.88
****************************************************************************************************
Validation loss decreased (10658.157227 --> 10609.755859).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.37 .. Rec_loss: 11819.41 .. NELBO: 11819.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5302.83 .. NELBO: 5302.89
****************************************************************************************************
Validation loss decreased (10609.755859 --> 10605.790039).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.33 .. Rec_loss: 11783.67 .. NELBO: 11784.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 5320.78 .. NELBO: 5320.88
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.24 .. Rec_loss: 11785.68 .. NELBO: 11785.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.47 .. Rec_loss: 5341.44 .. NELBO: 5341.91
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.67 .. Rec_loss: 11794.51 .. NELBO: 11795.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.71 .. Rec_loss: 5350.6 .. NELBO: 5351.31
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 1.76 .. Rec_loss: 11789.28 .. NELBO: 11791.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.87 .. Rec_loss: 5348.21 .. NELBO: 5349.08
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 1.39 .. Rec_loss: 11775.02 .. NELBO: 11776.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.25 .. Rec_loss: 5341.08 .. NELBO: 5342.33
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05731474515169653, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=96, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=96, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=96, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.28 .. Rec_loss: 12263.63 .. NELBO: 12263.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.73 .. Rec_loss: 5442.95 .. NELBO: 5445.68
****************************************************************************************************
Validation loss decreased (inf --> 10891.352539).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 2.88 .. Rec_loss: 12242.95 .. NELBO: 12245.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5426.96 .. NELBO: 5426.98
****************************************************************************************************
Validation loss decreased (10891.352539 --> 10853.970703).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.56 .. Rec_loss: 12191.8 .. NELBO: 12192.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.18 .. Rec_loss: 5399.15 .. NELBO: 5399.33
****************************************************************************************************
Validation loss decreased (10853.970703 --> 10798.663086).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.65 .. Rec_loss: 12108.19 .. NELBO: 12108.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.03 .. Rec_loss: 5362.78 .. NELBO: 5363.81
****************************************************************************************************
Validation loss decreased (10798.663086 --> 10727.625977).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 3.09 .. Rec_loss: 12001.1 .. NELBO: 12004.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.0 .. Rec_loss: 5327.66 .. NELBO: 5328.66
****************************************************************************************************
Validation loss decreased (10727.625977 --> 10657.321289).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 1.69 .. Rec_loss: 11897.18 .. NELBO: 11898.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.09 .. Rec_loss: 5304.12 .. NELBO: 5305.21
****************************************************************************************************
Validation loss decreased (10657.321289 --> 10610.430664).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 1.6 .. Rec_loss: 11816.7 .. NELBO: 11818.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 5303.23 .. NELBO: 5303.34
****************************************************************************************************
Validation loss decreased (10610.430664 --> 10606.665039).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.37 .. Rec_loss: 11783.24 .. NELBO: 11783.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.26 .. Rec_loss: 5321.42 .. NELBO: 5321.68
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.7 .. Rec_loss: 11785.7 .. NELBO: 11786.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.34 .. Rec_loss: 5342.08 .. NELBO: 5342.42
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.77 .. Rec_loss: 11794.33 .. NELBO: 11795.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 5350.85 .. NELBO: 5351.28
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 1.35 .. Rec_loss: 11788.61 .. NELBO: 11789.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.58 .. Rec_loss: 5346.78 .. NELBO: 5348.36
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 4.52 .. Rec_loss: 11773.37 .. NELBO: 11777.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.79 .. Rec_loss: 5339.9 .. NELBO: 5341.69
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  43
model: ETM(
  (t_drop): Dropout(p=0.046229183415471616, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=54, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=54, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=54, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 65.5 .. Rec_loss: 12264.16 .. NELBO: 12329.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.66 .. Rec_loss: 5443.81 .. NELBO: 5450.47
****************************************************************************************************
Validation loss decreased (inf --> 10900.949219).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.12 .. Rec_loss: 12248.44 .. NELBO: 12255.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.32 .. Rec_loss: 5432.15 .. NELBO: 5432.47
****************************************************************************************************
Validation loss decreased (10900.949219 --> 10864.935547).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.47 .. Rec_loss: 12210.07 .. NELBO: 12210.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5409.96 .. NELBO: 5410.03
****************************************************************************************************
Validation loss decreased (10864.935547 --> 10820.047852).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12142.13 .. NELBO: 12142.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5378.01 .. NELBO: 5378.03
****************************************************************************************************
Validation loss decreased (10820.047852 --> 10756.057617).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12047.55 .. NELBO: 12047.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5341.75 .. NELBO: 5341.77
****************************************************************************************************
Validation loss decreased (10756.057617 --> 10683.526367).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11939.67 .. NELBO: 11939.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.54 .. NELBO: 5311.56
****************************************************************************************************
Validation loss decreased (10683.526367 --> 10623.118164).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11845.18 .. NELBO: 11845.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5299.79 .. NELBO: 5299.81
****************************************************************************************************
Validation loss decreased (10623.118164 --> 10599.631836).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11789.07 .. NELBO: 11789.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5311.49 .. NELBO: 5311.52
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 11779.47 .. NELBO: 11779.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5335.06 .. NELBO: 5335.1
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 11792.72 .. NELBO: 11792.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5351.4 .. NELBO: 5351.43
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11796.25 .. NELBO: 11796.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.68 .. NELBO: 5353.7
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11784.86 .. NELBO: 11784.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5347.75 .. NELBO: 5347.76
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.046229183415471616, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=54, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=54, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=54, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 66.63 .. Rec_loss: 12263.83 .. NELBO: 12330.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.89 .. Rec_loss: 5443.17 .. NELBO: 5450.06
****************************************************************************************************
Validation loss decreased (inf --> 10900.132812).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.4 .. Rec_loss: 12245.67 .. NELBO: 12253.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.36 .. Rec_loss: 5429.87 .. NELBO: 5430.23
****************************************************************************************************
Validation loss decreased (10900.132812 --> 10860.460938).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.53 .. Rec_loss: 12202.59 .. NELBO: 12203.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5405.63 .. NELBO: 5405.69
****************************************************************************************************
Validation loss decreased (10860.460938 --> 10811.395508).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12129.32 .. NELBO: 12129.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5372.23 .. NELBO: 5372.25
****************************************************************************************************
Validation loss decreased (10811.395508 --> 10744.504883).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12030.54 .. NELBO: 12030.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5336.18 .. NELBO: 5336.19
****************************************************************************************************
Validation loss decreased (10744.504883 --> 10672.385742).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11923.38 .. NELBO: 11923.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5308.42 .. NELBO: 5308.43
****************************************************************************************************
Validation loss decreased (10672.385742 --> 10616.871094).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11834.56 .. NELBO: 11834.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.5 .. NELBO: 5300.51
****************************************************************************************************
Validation loss decreased (10616.871094 --> 10601.021484).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11786.73 .. NELBO: 11786.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5314.69 .. NELBO: 5314.7
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.88 .. NELBO: 11781.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5337.53 .. NELBO: 5337.54
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11794.86 .. NELBO: 11794.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5351.4 .. NELBO: 5351.41
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11794.46 .. NELBO: 11794.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5352.17 .. NELBO: 5352.18
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11783.0 .. NELBO: 11783.03
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5346.02 .. NELBO: 5346.03
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.046229183415471616, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=54, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=54, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=54, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 78.28 .. Rec_loss: 12263.82 .. NELBO: 12342.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.62 .. Rec_loss: 5443.54 .. NELBO: 5451.16
****************************************************************************************************
Validation loss decreased (inf --> 10902.316406).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.1 .. Rec_loss: 12247.03 .. NELBO: 12255.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 5431.47 .. NELBO: 5431.92
****************************************************************************************************
Validation loss decreased (10902.316406 --> 10863.837891).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.66 .. Rec_loss: 12207.25 .. NELBO: 12207.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5408.65 .. NELBO: 5408.73
****************************************************************************************************
Validation loss decreased (10863.837891 --> 10817.459961).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12136.96 .. NELBO: 12137.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5376.27 .. NELBO: 5376.29
****************************************************************************************************
Validation loss decreased (10817.459961 --> 10752.594727).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12040.91 .. NELBO: 12040.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5340.12 .. NELBO: 5340.13
****************************************************************************************************
Validation loss decreased (10752.594727 --> 10680.274414).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11933.29 .. NELBO: 11933.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5310.73 .. NELBO: 5310.74
****************************************************************************************************
Validation loss decreased (10680.274414 --> 10621.486328).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11840.38 .. NELBO: 11840.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.31 .. NELBO: 5300.32
****************************************************************************************************
Validation loss decreased (10621.486328 --> 10600.641602).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11787.75 .. NELBO: 11787.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5313.04 .. NELBO: 5313.05
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11780.53 .. NELBO: 11780.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5336.52 .. NELBO: 5336.53
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11793.38 .. NELBO: 11793.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5351.94 .. NELBO: 5351.95
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.2 .. NELBO: 11796.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.43 .. NELBO: 5353.44
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11784.16 .. NELBO: 11784.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5347.17 .. NELBO: 5347.18
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  44
model: ETM(
  (t_drop): Dropout(p=0.05542261110857152, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=85, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=85, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=85, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1051.9 .. Rec_loss: 12264.26 .. NELBO: 13316.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 20.23 .. Rec_loss: 5445.45 .. NELBO: 5465.68
****************************************************************************************************
Validation loss decreased (inf --> 10931.373047).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 23.94 .. Rec_loss: 12253.75 .. NELBO: 12277.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.79 .. Rec_loss: 5436.75 .. NELBO: 5440.54
****************************************************************************************************
Validation loss decreased (10931.373047 --> 10881.074219).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 7.32 .. Rec_loss: 12225.11 .. NELBO: 12232.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.46 .. Rec_loss: 5419.52 .. NELBO: 5421.98
****************************************************************************************************
Validation loss decreased (10881.074219 --> 10843.962891).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 4.33 .. Rec_loss: 12171.0 .. NELBO: 12175.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.04 .. Rec_loss: 5392.54 .. NELBO: 5393.58
****************************************************************************************************
Validation loss decreased (10843.962891 --> 10787.149414).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 1.72 .. Rec_loss: 12088.92 .. NELBO: 12090.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.33 .. Rec_loss: 5358.5 .. NELBO: 5358.83
****************************************************************************************************
Validation loss decreased (10787.149414 --> 10717.664062).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.54 .. Rec_loss: 11986.64 .. NELBO: 11987.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 5324.86 .. NELBO: 5324.97
****************************************************************************************************
Validation loss decreased (10717.664062 --> 10649.937500).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.19 .. Rec_loss: 11884.04 .. NELBO: 11884.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5303.24 .. NELBO: 5303.31
****************************************************************************************************
Validation loss decreased (10649.937500 --> 10606.605469).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 11807.56 .. NELBO: 11807.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5303.75 .. NELBO: 5303.81
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 11777.37 .. NELBO: 11777.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5323.85 .. NELBO: 5323.88
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11784.14 .. NELBO: 11784.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5345.92 .. NELBO: 5345.94
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11796.58 .. NELBO: 11796.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5355.36 .. NELBO: 5355.38
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11792.89 .. NELBO: 11792.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.59 .. NELBO: 5352.61
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05542261110857152, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=85, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=85, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=85, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1275.46 .. Rec_loss: 12264.12 .. NELBO: 13539.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 24.1 .. Rec_loss: 5444.96 .. NELBO: 5469.06
****************************************************************************************************
Validation loss decreased (inf --> 10938.112305).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 28.94 .. Rec_loss: 12252.49 .. NELBO: 12281.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.17 .. Rec_loss: 5436.18 .. NELBO: 5442.35
****************************************************************************************************
Validation loss decreased (10938.112305 --> 10884.715820).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 12.0 .. Rec_loss: 12223.36 .. NELBO: 12235.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.88 .. Rec_loss: 5418.47 .. NELBO: 5422.35
****************************************************************************************************
Validation loss decreased (10884.715820 --> 10844.697266).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 6.76 .. Rec_loss: 12167.4 .. NELBO: 12174.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.68 .. Rec_loss: 5391.0 .. NELBO: 5392.68
****************************************************************************************************
Validation loss decreased (10844.697266 --> 10785.362305).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 3.15 .. Rec_loss: 12084.09 .. NELBO: 12087.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.07 .. Rec_loss: 5356.77 .. NELBO: 5357.84
****************************************************************************************************
Validation loss decreased (10785.362305 --> 10715.681641).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 2.18 .. Rec_loss: 11982.01 .. NELBO: 11984.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.87 .. Rec_loss: 5323.39 .. NELBO: 5324.26
****************************************************************************************************
Validation loss decreased (10715.681641 --> 10648.535156).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 1.68 .. Rec_loss: 11879.88 .. NELBO: 11881.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.75 .. Rec_loss: 5302.69 .. NELBO: 5303.44
****************************************************************************************************
Validation loss decreased (10648.535156 --> 10606.876953).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 1.55 .. Rec_loss: 11805.41 .. NELBO: 11806.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.67 .. Rec_loss: 5304.46 .. NELBO: 5305.13
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 1.38 .. Rec_loss: 11777.36 .. NELBO: 11778.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.57 .. Rec_loss: 5325.12 .. NELBO: 5325.69
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 1.15 .. Rec_loss: 11785.4 .. NELBO: 11786.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 5346.6 .. NELBO: 5347.05
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.89 .. Rec_loss: 11796.4 .. NELBO: 11797.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.34 .. Rec_loss: 5355.15 .. NELBO: 5355.49
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.67 .. Rec_loss: 11791.96 .. NELBO: 11792.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.26 .. Rec_loss: 5351.91 .. NELBO: 5352.17
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05542261110857152, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=85, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=85, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=85, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1052.68 .. Rec_loss: 12264.56 .. NELBO: 13317.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 19.04 .. Rec_loss: 5445.48 .. NELBO: 5464.52
****************************************************************************************************
Validation loss decreased (inf --> 10929.033203).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 24.95 .. Rec_loss: 12253.66 .. NELBO: 12278.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.92 .. Rec_loss: 5436.51 .. NELBO: 5444.43
****************************************************************************************************
Validation loss decreased (10929.033203 --> 10888.865234).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 16.43 .. Rec_loss: 12224.11 .. NELBO: 12240.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.28 .. Rec_loss: 5418.86 .. NELBO: 5426.14
****************************************************************************************************
Validation loss decreased (10888.865234 --> 10852.299805).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 14.14 .. Rec_loss: 12168.29 .. NELBO: 12182.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 5.06 .. Rec_loss: 5391.32 .. NELBO: 5396.38
****************************************************************************************************
Validation loss decreased (10852.299805 --> 10792.755859).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 9.55 .. Rec_loss: 12084.69 .. NELBO: 12094.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.0 .. Rec_loss: 5356.92 .. NELBO: 5359.92
****************************************************************************************************
Validation loss decreased (10792.755859 --> 10719.831055).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 5.67 .. Rec_loss: 11981.82 .. NELBO: 11987.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.75 .. Rec_loss: 5323.37 .. NELBO: 5325.12
****************************************************************************************************
Validation loss decreased (10719.831055 --> 10650.239258).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 3.28 .. Rec_loss: 11879.27 .. NELBO: 11882.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.01 .. Rec_loss: 5302.59 .. NELBO: 5303.6
****************************************************************************************************
Validation loss decreased (10650.239258 --> 10607.209961).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 1.92 .. Rec_loss: 11804.24 .. NELBO: 11806.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.54 .. Rec_loss: 5304.43 .. NELBO: 5304.97
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 1.01 .. Rec_loss: 11776.87 .. NELBO: 11777.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.26 .. Rec_loss: 5325.29 .. NELBO: 5325.55
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 11785.22 .. NELBO: 11785.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 5346.88 .. NELBO: 5346.98
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.17 .. Rec_loss: 11796.27 .. NELBO: 11796.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5355.32 .. NELBO: 5355.36
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 11791.67 .. NELBO: 11791.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.92 .. NELBO: 5351.94
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  45
model: ETM(
  (t_drop): Dropout(p=0.8132266140034801, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=86, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=86, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=86, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 23.91 .. Rec_loss: 12264.12 .. NELBO: 12288.03
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.88 .. Rec_loss: 5443.66 .. NELBO: 5444.54
****************************************************************************************************
Validation loss decreased (inf --> 10889.082031).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.79 .. Rec_loss: 12245.85 .. NELBO: 12247.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5429.08 .. NELBO: 5429.1
****************************************************************************************************
Validation loss decreased (10889.082031 --> 10858.189453).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12198.6 .. NELBO: 12198.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5403.11 .. NELBO: 5403.12
****************************************************************************************************
Validation loss decreased (10858.189453 --> 10806.246094).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12120.13 .. NELBO: 12120.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5368.3 .. NELBO: 5368.31
****************************************************************************************************
Validation loss decreased (10806.246094 --> 10736.625000).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12018.49 .. NELBO: 12018.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5332.02 .. NELBO: 5332.04
****************************************************************************************************
Validation loss decreased (10736.625000 --> 10664.079102).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11910.63 .. NELBO: 11910.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5306.18 .. NELBO: 5306.2
****************************************************************************************************
Validation loss decreased (10664.079102 --> 10612.392578).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11825.56 .. NELBO: 11825.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5301.88 .. NELBO: 5301.9
****************************************************************************************************
Validation loss decreased (10612.392578 --> 10603.800781).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11784.88 .. NELBO: 11784.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5318.86 .. NELBO: 5318.89
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11785.24 .. NELBO: 11785.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5341.04 .. NELBO: 5341.07
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11795.75 .. NELBO: 11795.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5352.3 .. NELBO: 5352.33
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11793.39 .. NELBO: 11793.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5351.05 .. NELBO: 5351.08
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11779.72 .. NELBO: 11779.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5344.26 .. NELBO: 5344.28
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.8132266140034801, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=86, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=86, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=86, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 23.14 .. Rec_loss: 12264.13 .. NELBO: 12287.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.66 .. Rec_loss: 5443.62 .. NELBO: 5444.28
****************************************************************************************************
Validation loss decreased (inf --> 10888.573242).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.32 .. Rec_loss: 12245.24 .. NELBO: 12246.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5428.74 .. NELBO: 5428.75
****************************************************************************************************
Validation loss decreased (10888.573242 --> 10857.500000).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12197.08 .. NELBO: 12197.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5402.23 .. NELBO: 5402.24
****************************************************************************************************
Validation loss decreased (10857.500000 --> 10804.483398).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 12116.88 .. NELBO: 12116.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5366.98 .. NELBO: 5366.99
****************************************************************************************************
Validation loss decreased (10804.483398 --> 10733.978516).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 12013.24 .. NELBO: 12013.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5330.73 .. NELBO: 5330.74
****************************************************************************************************
Validation loss decreased (10733.978516 --> 10661.486328).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11905.58 .. NELBO: 11905.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5305.65 .. NELBO: 5305.67
****************************************************************************************************
Validation loss decreased (10661.486328 --> 10611.325195).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11822.28 .. NELBO: 11822.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5302.6 .. NELBO: 5302.62
****************************************************************************************************
Validation loss decreased (10611.325195 --> 10605.249023).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11783.93 .. NELBO: 11783.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5320.47 .. NELBO: 5320.49
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11785.79 .. NELBO: 11785.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5342.4 .. NELBO: 5342.42
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11796.38 .. NELBO: 11796.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.74 .. NELBO: 5352.76
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.08 .. NELBO: 11793.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.78 .. NELBO: 5350.8
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11778.77 .. NELBO: 11778.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5343.78 .. NELBO: 5343.8
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.8132266140034801, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=86, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=86, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=86, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 21.95 .. Rec_loss: 12264.13 .. NELBO: 12286.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.66 .. Rec_loss: 5443.78 .. NELBO: 5444.44
****************************************************************************************************
Validation loss decreased (inf --> 10888.862305).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.24 .. Rec_loss: 12245.85 .. NELBO: 12247.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5429.09 .. NELBO: 5429.11
****************************************************************************************************
Validation loss decreased (10888.862305 --> 10858.222656).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12198.39 .. NELBO: 12198.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5402.83 .. NELBO: 5402.84
****************************************************************************************************
Validation loss decreased (10858.222656 --> 10805.684570).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12118.9 .. NELBO: 12118.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5367.63 .. NELBO: 5367.64
****************************************************************************************************
Validation loss decreased (10805.684570 --> 10735.286133).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12015.41 .. NELBO: 12015.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5331.22 .. NELBO: 5331.24
****************************************************************************************************
Validation loss decreased (10735.286133 --> 10662.473633).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11907.4 .. NELBO: 11907.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5305.85 .. NELBO: 5305.87
****************************************************************************************************
Validation loss decreased (10662.473633 --> 10611.739258).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11822.74 .. NELBO: 11822.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5302.56 .. NELBO: 5302.58
****************************************************************************************************
Validation loss decreased (10611.739258 --> 10605.161133).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11783.92 .. NELBO: 11783.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5320.28 .. NELBO: 5320.31
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11785.6 .. NELBO: 11785.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5342.31 .. NELBO: 5342.34
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11796.09 .. NELBO: 11796.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5352.84 .. NELBO: 5352.87
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11793.02 .. NELBO: 11793.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5350.96 .. NELBO: 5350.99
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11778.72 .. NELBO: 11778.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5343.95 .. NELBO: 5343.97
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  46
model: ETM(
  (t_drop): Dropout(p=0.015349228821726204, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1372.31 .. Rec_loss: 12264.41 .. NELBO: 13636.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 22.86 .. Rec_loss: 5445.71 .. NELBO: 5468.57
****************************************************************************************************
Validation loss decreased (inf --> 10937.132812).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 31.47 .. Rec_loss: 12254.25 .. NELBO: 12285.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 12.47 .. Rec_loss: 5436.99 .. NELBO: 5449.46
****************************************************************************************************
Validation loss decreased (10937.132812 --> 10898.920898).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 25.62 .. Rec_loss: 12226.17 .. NELBO: 12251.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 12.01 .. Rec_loss: 5420.09 .. NELBO: 5432.1
****************************************************************************************************
Validation loss decreased (10898.920898 --> 10864.200195).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 22.78 .. Rec_loss: 12172.86 .. NELBO: 12195.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.85 .. Rec_loss: 5393.49 .. NELBO: 5402.34
****************************************************************************************************
Validation loss decreased (10864.200195 --> 10804.685547).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 16.33 .. Rec_loss: 12092.2 .. NELBO: 12108.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 5.95 .. Rec_loss: 5359.74 .. NELBO: 5365.69
****************************************************************************************************
Validation loss decreased (10804.685547 --> 10731.396484).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 11.08 .. Rec_loss: 11991.57 .. NELBO: 12002.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.06 .. Rec_loss: 5325.87 .. NELBO: 5329.93
****************************************************************************************************
Validation loss decreased (10731.396484 --> 10659.853516).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 7.51 .. Rec_loss: 11887.9 .. NELBO: 11895.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.74 .. Rec_loss: 5303.35 .. NELBO: 5306.09
****************************************************************************************************
Validation loss decreased (10659.853516 --> 10612.195312).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 5.07 .. Rec_loss: 11809.72 .. NELBO: 11814.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.75 .. Rec_loss: 5302.76 .. NELBO: 5304.51
****************************************************************************************************
Validation loss decreased (10612.195312 --> 10609.017578).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 3.14 .. Rec_loss: 11776.87 .. NELBO: 11780.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.01 .. Rec_loss: 5322.43 .. NELBO: 5323.44
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 1.8 .. Rec_loss: 11783.13 .. NELBO: 11784.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.54 .. Rec_loss: 5344.88 .. NELBO: 5345.42
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.95 .. Rec_loss: 11795.67 .. NELBO: 11796.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.29 .. Rec_loss: 5354.74 .. NELBO: 5355.03
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.56 .. Rec_loss: 11792.49 .. NELBO: 11793.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.21 .. Rec_loss: 5352.03 .. NELBO: 5352.24
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.46 .. Rec_loss: 11777.3 .. NELBO: 11777.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.16 .. Rec_loss: 5344.56 .. NELBO: 5344.72
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.015349228821726204, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1240.39 .. Rec_loss: 12264.35 .. NELBO: 13504.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 23.28 .. Rec_loss: 5445.89 .. NELBO: 5469.17
****************************************************************************************************
Validation loss decreased (inf --> 10938.345703).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 28.85 .. Rec_loss: 12254.62 .. NELBO: 12283.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.66 .. Rec_loss: 5437.1 .. NELBO: 5444.76
****************************************************************************************************
Validation loss decreased (10938.345703 --> 10889.538086).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 14.58 .. Rec_loss: 12226.17 .. NELBO: 12240.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 5.14 .. Rec_loss: 5419.94 .. NELBO: 5425.08
****************************************************************************************************
Validation loss decreased (10889.538086 --> 10850.163086).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 9.01 .. Rec_loss: 12171.7 .. NELBO: 12180.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.79 .. Rec_loss: 5393.09 .. NELBO: 5395.88
****************************************************************************************************
Validation loss decreased (10850.163086 --> 10791.757812).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 4.91 .. Rec_loss: 12089.54 .. NELBO: 12094.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.65 .. Rec_loss: 5359.0 .. NELBO: 5360.65
****************************************************************************************************
Validation loss decreased (10791.757812 --> 10721.301758).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 3.04 .. Rec_loss: 11987.31 .. NELBO: 11990.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.11 .. Rec_loss: 5325.16 .. NELBO: 5326.27
****************************************************************************************************
Validation loss decreased (10721.301758 --> 10652.537109).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 2.09 .. Rec_loss: 11883.56 .. NELBO: 11885.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.84 .. Rec_loss: 5303.48 .. NELBO: 5304.32
****************************************************************************************************
Validation loss decreased (10652.537109 --> 10608.630859).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 1.59 .. Rec_loss: 11807.0 .. NELBO: 11808.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.62 .. Rec_loss: 5304.18 .. NELBO: 5304.8
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 1.12 .. Rec_loss: 11777.09 .. NELBO: 11778.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 5324.34 .. NELBO: 5324.73
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.71 .. Rec_loss: 11784.44 .. NELBO: 11785.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.25 .. Rec_loss: 5346.16 .. NELBO: 5346.41
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 11796.12 .. NELBO: 11796.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 5355.21 .. NELBO: 5355.35
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.25 .. Rec_loss: 11791.8 .. NELBO: 11792.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5352.16 .. NELBO: 5352.23
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.015349228821726204, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1085.21 .. Rec_loss: 12264.22 .. NELBO: 13349.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 22.45 .. Rec_loss: 5445.2 .. NELBO: 5467.65
****************************************************************************************************
Validation loss decreased (inf --> 10935.302734).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 28.23 .. Rec_loss: 12252.93 .. NELBO: 12281.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.41 .. Rec_loss: 5436.26 .. NELBO: 5443.67
****************************************************************************************************
Validation loss decreased (10935.302734 --> 10887.327148).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 14.69 .. Rec_loss: 12223.94 .. NELBO: 12238.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.23 .. Rec_loss: 5418.11 .. NELBO: 5424.34
****************************************************************************************************
Validation loss decreased (10887.327148 --> 10848.692383).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 11.74 .. Rec_loss: 12166.25 .. NELBO: 12177.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.62 .. Rec_loss: 5390.03 .. NELBO: 5394.65
****************************************************************************************************
Validation loss decreased (10848.692383 --> 10789.295898).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 8.74 .. Rec_loss: 12081.12 .. NELBO: 12089.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.52 .. Rec_loss: 5355.28 .. NELBO: 5358.8
****************************************************************************************************
Validation loss decreased (10789.295898 --> 10717.597656).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 6.64 .. Rec_loss: 11977.44 .. NELBO: 11984.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.67 .. Rec_loss: 5322.02 .. NELBO: 5324.69
****************************************************************************************************
Validation loss decreased (10717.597656 --> 10649.389648).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 5.06 .. Rec_loss: 11875.59 .. NELBO: 11880.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.02 .. Rec_loss: 5302.11 .. NELBO: 5304.13
****************************************************************************************************
Validation loss decreased (10649.389648 --> 10608.256836).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 3.8 .. Rec_loss: 11802.04 .. NELBO: 11805.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.47 .. Rec_loss: 5304.87 .. NELBO: 5306.34
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 2.78 .. Rec_loss: 11776.57 .. NELBO: 11779.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.02 .. Rec_loss: 5325.75 .. NELBO: 5326.77
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 1.88 .. Rec_loss: 11785.0 .. NELBO: 11786.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.66 .. Rec_loss: 5346.68 .. NELBO: 5347.34
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 1.22 .. Rec_loss: 11795.88 .. NELBO: 11797.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.42 .. Rec_loss: 5354.53 .. NELBO: 5354.95
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.76 .. Rec_loss: 11790.31 .. NELBO: 11791.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.27 .. Rec_loss: 5350.91 .. NELBO: 5351.18
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  47
model: ETM(
  (t_drop): Dropout(p=0.055126276259664486, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=86, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=86, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=86, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 86.8 .. Rec_loss: 12264.19 .. NELBO: 12350.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.09 .. Rec_loss: 5444.36 .. NELBO: 5452.45
****************************************************************************************************
Validation loss decreased (inf --> 10904.900391).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.8 .. Rec_loss: 12249.57 .. NELBO: 12258.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.44 .. Rec_loss: 5432.99 .. NELBO: 5433.43
****************************************************************************************************
Validation loss decreased (10904.900391 --> 10866.876953).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.63 .. Rec_loss: 12211.9 .. NELBO: 12212.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5410.9 .. NELBO: 5410.98
****************************************************************************************************
Validation loss decreased (10866.876953 --> 10821.954102).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12143.97 .. NELBO: 12144.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5379.0 .. NELBO: 5379.03
****************************************************************************************************
Validation loss decreased (10821.954102 --> 10758.052734).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12048.8 .. NELBO: 12048.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5342.72 .. NELBO: 5342.74
****************************************************************************************************
Validation loss decreased (10758.052734 --> 10685.479492).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11941.94 .. NELBO: 11941.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.4 .. NELBO: 5312.42
****************************************************************************************************
Validation loss decreased (10685.479492 --> 10624.841797).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11846.36 .. NELBO: 11846.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.45 .. NELBO: 5300.47
****************************************************************************************************
Validation loss decreased (10624.841797 --> 10600.947266).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11790.53 .. NELBO: 11790.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.84 .. NELBO: 5311.86
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.33 .. NELBO: 11780.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.09 .. NELBO: 5335.11
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11792.81 .. NELBO: 11792.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.36 .. NELBO: 5351.38
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11796.15 .. NELBO: 11796.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.77 .. NELBO: 5353.79
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11785.24 .. NELBO: 11785.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.86 .. NELBO: 5347.88
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.055126276259664486, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=86, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=86, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=86, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 80.84 .. Rec_loss: 12264.4 .. NELBO: 12345.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.86 .. Rec_loss: 5444.13 .. NELBO: 5451.99
****************************************************************************************************
Validation loss decreased (inf --> 10903.966797).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.45 .. Rec_loss: 12248.37 .. NELBO: 12256.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 5431.69 .. NELBO: 5432.07
****************************************************************************************************
Validation loss decreased (10903.966797 --> 10864.128906).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.53 .. Rec_loss: 12208.12 .. NELBO: 12208.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5408.32 .. NELBO: 5408.38
****************************************************************************************************
Validation loss decreased (10864.128906 --> 10816.765625).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12136.49 .. NELBO: 12136.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5375.31 .. NELBO: 5375.33
****************************************************************************************************
Validation loss decreased (10816.765625 --> 10750.663086).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12039.36 .. NELBO: 12039.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5338.78 .. NELBO: 5338.8
****************************************************************************************************
Validation loss decreased (10750.663086 --> 10677.593750).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11931.04 .. NELBO: 11931.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5309.7 .. NELBO: 5309.72
****************************************************************************************************
Validation loss decreased (10677.593750 --> 10619.444336).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11838.8 .. NELBO: 11838.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.27 .. NELBO: 5300.29
****************************************************************************************************
Validation loss decreased (10619.444336 --> 10600.572266).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11787.82 .. NELBO: 11787.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.84 .. NELBO: 5313.86
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.83 .. NELBO: 11781.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.16 .. NELBO: 5337.18
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11794.12 .. NELBO: 11794.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.87 .. NELBO: 5351.89
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.65 .. NELBO: 11795.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.95 .. NELBO: 5352.97
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11783.43 .. NELBO: 11783.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.63 .. NELBO: 5346.65
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.055126276259664486, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=86, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=86, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=86, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 90.17 .. Rec_loss: 12264.13 .. NELBO: 12354.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.5 .. Rec_loss: 5444.28 .. NELBO: 5452.78
****************************************************************************************************
Validation loss decreased (inf --> 10905.555664).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 9.06 .. Rec_loss: 12249.17 .. NELBO: 12258.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.41 .. Rec_loss: 5432.57 .. NELBO: 5432.98
****************************************************************************************************
Validation loss decreased (10905.555664 --> 10865.951172).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.59 .. Rec_loss: 12210.6 .. NELBO: 12211.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5410.14 .. NELBO: 5410.21
****************************************************************************************************
Validation loss decreased (10865.951172 --> 10820.431641).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12142.17 .. NELBO: 12142.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5377.9 .. NELBO: 5377.93
****************************************************************************************************
Validation loss decreased (10820.431641 --> 10755.849609).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12045.9 .. NELBO: 12045.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5341.53 .. NELBO: 5341.55
****************************************************************************************************
Validation loss decreased (10755.849609 --> 10683.098633).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11938.14 .. NELBO: 11938.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.57 .. NELBO: 5311.59
****************************************************************************************************
Validation loss decreased (10683.098633 --> 10623.184570).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11843.73 .. NELBO: 11843.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.37 .. NELBO: 5300.39
****************************************************************************************************
Validation loss decreased (10623.184570 --> 10600.768555).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11789.23 .. NELBO: 11789.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.43 .. NELBO: 5312.45
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.75 .. NELBO: 11780.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.73 .. NELBO: 5335.75
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.08 .. NELBO: 11793.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.53 .. NELBO: 5351.55
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.37 .. NELBO: 11796.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.54 .. NELBO: 5353.56
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11785.15 .. NELBO: 11785.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.52 .. NELBO: 5347.54
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  48
model: ETM(
  (t_drop): Dropout(p=0.02997893857525457, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=85, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=85, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=85, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 92.0 .. Rec_loss: 12264.14 .. NELBO: 12356.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.3 .. Rec_loss: 5444.06 .. NELBO: 5452.36
****************************************************************************************************
Validation loss decreased (inf --> 10904.730469).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.95 .. Rec_loss: 12248.23 .. NELBO: 12257.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.46 .. Rec_loss: 5431.7 .. NELBO: 5432.16
****************************************************************************************************
Validation loss decreased (10904.730469 --> 10864.336914).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.66 .. Rec_loss: 12207.58 .. NELBO: 12208.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5408.31 .. NELBO: 5408.39
****************************************************************************************************
Validation loss decreased (10864.336914 --> 10816.766602).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12135.89 .. NELBO: 12136.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5375.31 .. NELBO: 5375.34
****************************************************************************************************
Validation loss decreased (10816.766602 --> 10750.686523).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12038.22 .. NELBO: 12038.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5338.83 .. NELBO: 5338.85
****************************************************************************************************
Validation loss decreased (10750.686523 --> 10677.704102).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11929.98 .. NELBO: 11930.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5309.89 .. NELBO: 5309.91
****************************************************************************************************
Validation loss decreased (10677.704102 --> 10619.810547).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11837.96 .. NELBO: 11838.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.68 .. NELBO: 5300.7
****************************************************************************************************
Validation loss decreased (10619.810547 --> 10601.405273).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11787.48 .. NELBO: 11787.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5314.47 .. NELBO: 5314.49
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11782.07 .. NELBO: 11782.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.79 .. NELBO: 5337.81
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11794.48 .. NELBO: 11794.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.26 .. NELBO: 5352.28
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.0 .. NELBO: 11796.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.09 .. NELBO: 5353.11
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11783.68 .. NELBO: 11783.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.64 .. NELBO: 5346.66
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.02997893857525457, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=85, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=85, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=85, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 86.57 .. Rec_loss: 12264.36 .. NELBO: 12350.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.07 .. Rec_loss: 5444.5 .. NELBO: 5452.57
****************************************************************************************************
Validation loss decreased (inf --> 10905.130859).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.66 .. Rec_loss: 12249.77 .. NELBO: 12258.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.44 .. Rec_loss: 5432.67 .. NELBO: 5433.11
****************************************************************************************************
Validation loss decreased (10905.130859 --> 10866.216797).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.62 .. Rec_loss: 12210.83 .. NELBO: 12211.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5409.86 .. NELBO: 5409.94
****************************************************************************************************
Validation loss decreased (10866.216797 --> 10819.864258).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12140.77 .. NELBO: 12140.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5377.18 .. NELBO: 5377.21
****************************************************************************************************
Validation loss decreased (10819.864258 --> 10754.416016).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12044.35 .. NELBO: 12044.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5340.56 .. NELBO: 5340.58
****************************************************************************************************
Validation loss decreased (10754.416016 --> 10681.165039).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11935.62 .. NELBO: 11935.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.86 .. NELBO: 5310.88
****************************************************************************************************
Validation loss decreased (10681.165039 --> 10621.751953).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11841.97 .. NELBO: 11842.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.47 .. NELBO: 5300.49
****************************************************************************************************
Validation loss decreased (10621.751953 --> 10600.988281).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11788.93 .. NELBO: 11788.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.4 .. NELBO: 5313.42
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.72 .. NELBO: 11781.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.75 .. NELBO: 5336.77
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.92 .. NELBO: 11793.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.91 .. NELBO: 5351.93
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.36 .. NELBO: 11796.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.32 .. NELBO: 5353.34
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11784.25 .. NELBO: 11784.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.11 .. NELBO: 5347.13
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.02997893857525457, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=85, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=85, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=85, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 85.73 .. Rec_loss: 12264.25 .. NELBO: 12349.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.82 .. Rec_loss: 5444.54 .. NELBO: 5452.36
****************************************************************************************************
Validation loss decreased (inf --> 10904.733398).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.4 .. Rec_loss: 12250.45 .. NELBO: 12258.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 5433.58 .. NELBO: 5434.01
****************************************************************************************************
Validation loss decreased (10904.733398 --> 10868.009766).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.6 .. Rec_loss: 12213.65 .. NELBO: 12214.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5411.92 .. NELBO: 5411.99
****************************************************************************************************
Validation loss decreased (10868.009766 --> 10823.976562).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12146.44 .. NELBO: 12146.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5380.24 .. NELBO: 5380.26
****************************************************************************************************
Validation loss decreased (10823.976562 --> 10760.521484).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12052.26 .. NELBO: 12052.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5343.85 .. NELBO: 5343.87
****************************************************************************************************
Validation loss decreased (10760.521484 --> 10687.739258).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11944.02 .. NELBO: 11944.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.17 .. NELBO: 5313.19
****************************************************************************************************
Validation loss decreased (10687.739258 --> 10626.377930).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11847.67 .. NELBO: 11847.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.74 .. NELBO: 5300.76
****************************************************************************************************
Validation loss decreased (10626.377930 --> 10601.510742).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11791.12 .. NELBO: 11791.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.79 .. NELBO: 5311.81
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.33 .. NELBO: 11780.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.04 .. NELBO: 5335.06
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.72 .. NELBO: 11792.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.4 .. NELBO: 5351.42
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.4 .. NELBO: 11796.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.83 .. NELBO: 5353.85
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11785.81 .. NELBO: 11785.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.87 .. NELBO: 5347.89
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  49
model: ETM(
  (t_drop): Dropout(p=0.08914007511273868, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=85, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=85, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=85, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1288.39 .. Rec_loss: 12263.91 .. NELBO: 13552.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 29.63 .. Rec_loss: 5445.86 .. NELBO: 5475.49
****************************************************************************************************
Validation loss decreased (inf --> 10950.979492).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 39.87 .. Rec_loss: 12254.5 .. NELBO: 12294.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 12.34 .. Rec_loss: 5437.27 .. NELBO: 5449.61
****************************************************************************************************
Validation loss decreased (10950.979492 --> 10899.209961).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 25.76 .. Rec_loss: 12226.83 .. NELBO: 12252.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 10.22 .. Rec_loss: 5420.83 .. NELBO: 5431.05
****************************************************************************************************
Validation loss decreased (10899.209961 --> 10862.101562).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 19.58 .. Rec_loss: 12174.78 .. NELBO: 12194.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.45 .. Rec_loss: 5394.99 .. NELBO: 5401.44
****************************************************************************************************
Validation loss decreased (10862.101562 --> 10802.869141).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 12.87 .. Rec_loss: 12095.85 .. NELBO: 12108.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.73 .. Rec_loss: 5361.9 .. NELBO: 5366.63
****************************************************************************************************
Validation loss decreased (10802.869141 --> 10733.263672).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 9.91 .. Rec_loss: 11996.76 .. NELBO: 12006.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.88 .. Rec_loss: 5328.21 .. NELBO: 5332.09
****************************************************************************************************
Validation loss decreased (10733.263672 --> 10664.193359).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 8.16 .. Rec_loss: 11893.85 .. NELBO: 11902.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.44 .. Rec_loss: 5305.05 .. NELBO: 5308.49
****************************************************************************************************
Validation loss decreased (10664.193359 --> 10616.993164).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 7.34 .. Rec_loss: 11813.94 .. NELBO: 11821.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.91 .. Rec_loss: 5302.95 .. NELBO: 5305.86
****************************************************************************************************
Validation loss decreased (10616.993164 --> 10611.718750).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 6.01 .. Rec_loss: 11778.6 .. NELBO: 11784.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.27 .. Rec_loss: 5320.89 .. NELBO: 5323.16
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 4.69 .. Rec_loss: 11782.01 .. NELBO: 11786.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.69 .. Rec_loss: 5342.71 .. NELBO: 5344.4
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 3.52 .. Rec_loss: 11794.38 .. NELBO: 11797.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.29 .. Rec_loss: 5353.07 .. NELBO: 5354.36
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 2.64 .. Rec_loss: 11792.0 .. NELBO: 11794.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.09 .. Rec_loss: 5351.06 .. NELBO: 5352.15
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 2.28 .. Rec_loss: 11778.05 .. NELBO: 11780.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.0 .. Rec_loss: 5343.9 .. NELBO: 5344.9
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.08914007511273868, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=85, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=85, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=85, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1124.92 .. Rec_loss: 12264.65 .. NELBO: 13389.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 25.2 .. Rec_loss: 5445.98 .. NELBO: 5471.18
****************************************************************************************************
Validation loss decreased (inf --> 10942.363281).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 29.88 .. Rec_loss: 12255.4 .. NELBO: 12285.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 5.56 .. Rec_loss: 5437.94 .. NELBO: 5443.5
****************************************************************************************************
Validation loss decreased (10942.363281 --> 10887.008789).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 12.31 .. Rec_loss: 12228.76 .. NELBO: 12241.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 5.28 .. Rec_loss: 5421.62 .. NELBO: 5426.9
****************************************************************************************************
Validation loss decreased (10887.008789 --> 10853.802734).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 10.16 .. Rec_loss: 12177.15 .. NELBO: 12187.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.32 .. Rec_loss: 5395.52 .. NELBO: 5398.84
****************************************************************************************************
Validation loss decreased (10853.802734 --> 10797.680664).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 6.05 .. Rec_loss: 12097.38 .. NELBO: 12103.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.9 .. Rec_loss: 5361.87 .. NELBO: 5363.77
****************************************************************************************************
Validation loss decreased (10797.680664 --> 10727.532227).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 3.61 .. Rec_loss: 11996.73 .. NELBO: 12000.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.08 .. Rec_loss: 5327.63 .. NELBO: 5328.71
****************************************************************************************************
Validation loss decreased (10727.532227 --> 10657.426758).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 2.1 .. Rec_loss: 11892.15 .. NELBO: 11894.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.65 .. Rec_loss: 5304.37 .. NELBO: 5305.02
****************************************************************************************************
Validation loss decreased (10657.426758 --> 10610.042969).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 1.24 .. Rec_loss: 11811.99 .. NELBO: 11813.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 5302.97 .. NELBO: 5303.35
****************************************************************************************************
Validation loss decreased (10610.042969 --> 10606.706055).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.75 .. Rec_loss: 11777.7 .. NELBO: 11778.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.21 .. Rec_loss: 5322.27 .. NELBO: 5322.48
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.37 .. Rec_loss: 11783.19 .. NELBO: 11783.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 5345.18 .. NELBO: 5345.28
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.17 .. Rec_loss: 11796.71 .. NELBO: 11796.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5355.74 .. NELBO: 5355.78
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 11794.55 .. NELBO: 11794.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.4 .. NELBO: 5353.42
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11779.6 .. NELBO: 11779.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5345.83 .. NELBO: 5345.85
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.08914007511273868, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=85, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=85, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=85, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1575.54 .. Rec_loss: 12264.4 .. NELBO: 13839.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 25.37 .. Rec_loss: 5445.69 .. NELBO: 5471.06
****************************************************************************************************
Validation loss decreased (inf --> 10942.108398).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 32.38 .. Rec_loss: 12254.34 .. NELBO: 12286.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 9.19 .. Rec_loss: 5437.17 .. NELBO: 5446.36
****************************************************************************************************
Validation loss decreased (10942.108398 --> 10892.720703).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 19.4 .. Rec_loss: 12226.57 .. NELBO: 12245.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.19 .. Rec_loss: 5420.35 .. NELBO: 5427.54
****************************************************************************************************
Validation loss decreased (10892.720703 --> 10855.064453).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 13.52 .. Rec_loss: 12172.97 .. NELBO: 12186.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.41 .. Rec_loss: 5393.85 .. NELBO: 5398.26
****************************************************************************************************
Validation loss decreased (10855.064453 --> 10796.522461).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 8.76 .. Rec_loss: 12092.42 .. NELBO: 12101.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.15 .. Rec_loss: 5360.12 .. NELBO: 5363.27
****************************************************************************************************
Validation loss decreased (10796.522461 --> 10726.543945).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 6.29 .. Rec_loss: 11991.65 .. NELBO: 11997.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.36 .. Rec_loss: 5326.22 .. NELBO: 5328.58
****************************************************************************************************
Validation loss decreased (10726.543945 --> 10657.159180).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 4.86 .. Rec_loss: 11888.41 .. NELBO: 11893.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.85 .. Rec_loss: 5303.67 .. NELBO: 5305.52
****************************************************************************************************
Validation loss decreased (10657.159180 --> 10611.028320).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 3.68 .. Rec_loss: 11809.27 .. NELBO: 11812.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.33 .. Rec_loss: 5303.06 .. NELBO: 5304.39
****************************************************************************************************
Validation loss decreased (10611.028320 --> 10608.777344).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 2.73 .. Rec_loss: 11776.68 .. NELBO: 11779.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.92 .. Rec_loss: 5322.73 .. NELBO: 5323.65
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 1.82 .. Rec_loss: 11783.06 .. NELBO: 11784.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.62 .. Rec_loss: 5345.3 .. NELBO: 5345.92
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 1.25 .. Rec_loss: 11795.51 .. NELBO: 11796.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 5355.32 .. NELBO: 5355.71
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.71 .. Rec_loss: 11792.16 .. NELBO: 11792.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.24 .. Rec_loss: 5352.68 .. NELBO: 5352.92
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.46 .. Rec_loss: 11778.48 .. NELBO: 11778.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.15 .. Rec_loss: 5345.07 .. NELBO: 5345.22
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  50
model: ETM(
  (t_drop): Dropout(p=0.05300681002765519, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=83, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=83, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=83, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 85.06 .. Rec_loss: 12263.81 .. NELBO: 12348.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.34 .. Rec_loss: 5443.9 .. NELBO: 5451.24
****************************************************************************************************
Validation loss decreased (inf --> 10902.497070).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.08 .. Rec_loss: 12247.84 .. NELBO: 12255.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.48 .. Rec_loss: 5431.89 .. NELBO: 5432.37
****************************************************************************************************
Validation loss decreased (10902.497070 --> 10864.724609).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.67 .. Rec_loss: 12209.05 .. NELBO: 12209.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5409.42 .. NELBO: 5409.5
****************************************************************************************************
Validation loss decreased (10864.724609 --> 10818.986328).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12139.57 .. NELBO: 12139.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5377.28 .. NELBO: 5377.31
****************************************************************************************************
Validation loss decreased (10818.986328 --> 10754.622070).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12044.29 .. NELBO: 12044.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5341.06 .. NELBO: 5341.08
****************************************************************************************************
Validation loss decreased (10754.622070 --> 10682.168945).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11936.84 .. NELBO: 11936.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.31 .. NELBO: 5311.33
****************************************************************************************************
Validation loss decreased (10682.168945 --> 10622.660156).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11843.03 .. NELBO: 11843.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.31 .. NELBO: 5300.33
****************************************************************************************************
Validation loss decreased (10622.660156 --> 10600.656250).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11788.88 .. NELBO: 11788.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.52 .. NELBO: 5312.54
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.77 .. NELBO: 11780.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.86 .. NELBO: 5335.88
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.07 .. NELBO: 11793.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.55 .. NELBO: 5351.57
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.59 .. NELBO: 11796.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.39 .. NELBO: 5353.41
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11784.69 .. NELBO: 11784.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.28 .. NELBO: 5347.3
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05300681002765519, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=83, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=83, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=83, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 87.4 .. Rec_loss: 12264.5 .. NELBO: 12351.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.52 .. Rec_loss: 5444.45 .. NELBO: 5452.97
****************************************************************************************************
Validation loss decreased (inf --> 10905.926758).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 9.18 .. Rec_loss: 12249.5 .. NELBO: 12258.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.44 .. Rec_loss: 5432.8 .. NELBO: 5433.24
****************************************************************************************************
Validation loss decreased (10905.926758 --> 10866.472656).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.62 .. Rec_loss: 12211.27 .. NELBO: 12211.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5410.73 .. NELBO: 5410.8
****************************************************************************************************
Validation loss decreased (10866.472656 --> 10821.607422).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12143.67 .. NELBO: 12143.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5378.95 .. NELBO: 5378.98
****************************************************************************************************
Validation loss decreased (10821.607422 --> 10757.955078).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12049.08 .. NELBO: 12049.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5342.79 .. NELBO: 5342.81
****************************************************************************************************
Validation loss decreased (10757.955078 --> 10685.617188).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11942.61 .. NELBO: 11942.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.51 .. NELBO: 5312.53
****************************************************************************************************
Validation loss decreased (10685.617188 --> 10625.048828).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11846.95 .. NELBO: 11846.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.44 .. NELBO: 5300.46
****************************************************************************************************
Validation loss decreased (10625.048828 --> 10600.919922).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11790.69 .. NELBO: 11790.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.62 .. NELBO: 5311.64
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11779.91 .. NELBO: 11779.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5334.88 .. NELBO: 5334.9
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.14 .. NELBO: 11792.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.46 .. NELBO: 5351.48
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.48 .. NELBO: 11796.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5354.15 .. NELBO: 5354.17
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11786.14 .. NELBO: 11786.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5348.32 .. NELBO: 5348.34
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05300681002765519, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=83, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=83, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=83, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 94.47 .. Rec_loss: 12264.26 .. NELBO: 12358.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.25 .. Rec_loss: 5444.18 .. NELBO: 5452.43
****************************************************************************************************
Validation loss decreased (inf --> 10904.867188).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.87 .. Rec_loss: 12249.34 .. NELBO: 12258.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.48 .. Rec_loss: 5432.89 .. NELBO: 5433.37
****************************************************************************************************
Validation loss decreased (10904.867188 --> 10866.742188).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.69 .. Rec_loss: 12211.84 .. NELBO: 12212.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5410.64 .. NELBO: 5410.72
****************************************************************************************************
Validation loss decreased (10866.742188 --> 10821.425781).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12143.02 .. NELBO: 12143.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5378.51 .. NELBO: 5378.53
****************************************************************************************************
Validation loss decreased (10821.425781 --> 10757.069336).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12047.94 .. NELBO: 12047.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5342.1 .. NELBO: 5342.12
****************************************************************************************************
Validation loss decreased (10757.069336 --> 10684.240234).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11940.72 .. NELBO: 11940.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.89 .. NELBO: 5311.91
****************************************************************************************************
Validation loss decreased (10684.240234 --> 10623.822266).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11845.71 .. NELBO: 11845.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.3 .. NELBO: 5300.32
****************************************************************************************************
Validation loss decreased (10623.822266 --> 10600.634766).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11789.8 .. NELBO: 11789.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.06 .. NELBO: 5312.08
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.11 .. NELBO: 11781.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.3 .. NELBO: 5335.32
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11793.03 .. NELBO: 11793.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.23 .. NELBO: 5351.25
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.35 .. NELBO: 11796.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.37 .. NELBO: 5353.39
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11785.03 .. NELBO: 11785.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.41 .. NELBO: 5347.43
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  51
model: ETM(
  (t_drop): Dropout(p=0.045539232334743024, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=57, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=57, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=57, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1012.26 .. Rec_loss: 12264.45 .. NELBO: 13276.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 28.05 .. Rec_loss: 5445.46 .. NELBO: 5473.51
****************************************************************************************************
Validation loss decreased (inf --> 10947.027344).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 35.32 .. Rec_loss: 12254.11 .. NELBO: 12289.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 9.83 .. Rec_loss: 5437.18 .. NELBO: 5447.01
****************************************************************************************************
Validation loss decreased (10947.027344 --> 10894.009766).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 20.43 .. Rec_loss: 12226.67 .. NELBO: 12247.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 9.01 .. Rec_loss: 5420.43 .. NELBO: 5429.44
****************************************************************************************************
Validation loss decreased (10894.009766 --> 10858.874023).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 17.16 .. Rec_loss: 12173.83 .. NELBO: 12190.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.29 .. Rec_loss: 5393.97 .. NELBO: 5400.26
****************************************************************************************************
Validation loss decreased (10858.874023 --> 10800.528320).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 11.97 .. Rec_loss: 12093.78 .. NELBO: 12105.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.45 .. Rec_loss: 5360.28 .. NELBO: 5364.73
****************************************************************************************************
Validation loss decreased (10800.528320 --> 10729.453125).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 8.5 .. Rec_loss: 11993.45 .. NELBO: 12001.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.41 .. Rec_loss: 5326.43 .. NELBO: 5329.84
****************************************************************************************************
Validation loss decreased (10729.453125 --> 10659.666016).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 6.63 .. Rec_loss: 11889.53 .. NELBO: 11896.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.65 .. Rec_loss: 5303.79 .. NELBO: 5306.44
****************************************************************************************************
Validation loss decreased (10659.666016 --> 10612.885742).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 5.2 .. Rec_loss: 11811.4 .. NELBO: 11816.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.01 .. Rec_loss: 5302.72 .. NELBO: 5304.73
****************************************************************************************************
Validation loss decreased (10612.885742 --> 10609.461914).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 3.8 .. Rec_loss: 11778.02 .. NELBO: 11781.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.43 .. Rec_loss: 5321.65 .. NELBO: 5323.08
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 2.71 .. Rec_loss: 11782.9 .. NELBO: 11785.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.98 .. Rec_loss: 5343.59 .. NELBO: 5344.57
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 1.88 .. Rec_loss: 11794.98 .. NELBO: 11796.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.69 .. Rec_loss: 5353.57 .. NELBO: 5354.26
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 1.32 .. Rec_loss: 11791.68 .. NELBO: 11793.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.52 .. Rec_loss: 5351.28 .. NELBO: 5351.8
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 1.05 .. Rec_loss: 11777.88 .. NELBO: 11778.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 5343.99 .. NELBO: 5344.44
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.045539232334743024, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=57, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=57, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=57, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1364.34 .. Rec_loss: 12263.88 .. NELBO: 13628.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 36.36 .. Rec_loss: 5444.72 .. NELBO: 5481.08
****************************************************************************************************
Validation loss decreased (inf --> 10962.153320).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 53.25 .. Rec_loss: 12251.74 .. NELBO: 12304.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 30.32 .. Rec_loss: 5435.38 .. NELBO: 5465.7
****************************************************************************************************
Validation loss decreased (10962.153320 --> 10931.401367).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 65.79 .. Rec_loss: 12220.74 .. NELBO: 12286.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 29.57 .. Rec_loss: 5417.75 .. NELBO: 5447.32
****************************************************************************************************
Validation loss decreased (10931.401367 --> 10894.657227).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 54.65 .. Rec_loss: 12165.99 .. NELBO: 12220.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 20.69 .. Rec_loss: 5391.84 .. NELBO: 5412.53
****************************************************************************************************
Validation loss decreased (10894.657227 --> 10825.056641).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 40.77 .. Rec_loss: 12088.05 .. NELBO: 12128.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 18.01 .. Rec_loss: 5359.41 .. NELBO: 5377.42
****************************************************************************************************
Validation loss decreased (10825.056641 --> 10754.849609).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 36.23 .. Rec_loss: 11989.97 .. NELBO: 12026.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 16.87 .. Rec_loss: 5326.09 .. NELBO: 5342.96
****************************************************************************************************
Validation loss decreased (10754.849609 --> 10685.911133).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 34.1 .. Rec_loss: 11886.75 .. NELBO: 11920.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 16.28 .. Rec_loss: 5303.65 .. NELBO: 5319.93
****************************************************************************************************
Validation loss decreased (10685.911133 --> 10639.868164).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 32.79 .. Rec_loss: 11809.14 .. NELBO: 11841.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 14.61 .. Rec_loss: 5302.66 .. NELBO: 5317.27
****************************************************************************************************
Validation loss decreased (10639.868164 --> 10634.544922).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 28.33 .. Rec_loss: 11777.0 .. NELBO: 11805.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 11.51 .. Rec_loss: 5320.5 .. NELBO: 5332.01
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 22.33 .. Rec_loss: 11780.78 .. NELBO: 11803.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.88 .. Rec_loss: 5340.55 .. NELBO: 5349.43
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 17.4 .. Rec_loss: 11789.99 .. NELBO: 11807.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.51 .. Rec_loss: 5349.39 .. NELBO: 5356.9
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 15.01 .. Rec_loss: 11784.66 .. NELBO: 11799.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.98 .. Rec_loss: 5346.56 .. NELBO: 5353.54
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 14.37 .. Rec_loss: 11772.1 .. NELBO: 11786.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.47 .. Rec_loss: 5339.24 .. NELBO: 5345.71
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.045539232334743024, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=57, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=57, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=57, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 731.88 .. Rec_loss: 12264.82 .. NELBO: 12996.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 20.23 .. Rec_loss: 5445.38 .. NELBO: 5465.61
****************************************************************************************************
Validation loss decreased (inf --> 10931.219727).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 24.96 .. Rec_loss: 12253.45 .. NELBO: 12278.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 5.4 .. Rec_loss: 5436.42 .. NELBO: 5441.82
****************************************************************************************************
Validation loss decreased (10931.219727 --> 10883.628906).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 10.98 .. Rec_loss: 12224.79 .. NELBO: 12235.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.81 .. Rec_loss: 5419.55 .. NELBO: 5424.36
****************************************************************************************************
Validation loss decreased (10883.628906 --> 10848.718750).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 8.73 .. Rec_loss: 12171.39 .. NELBO: 12180.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.6 .. Rec_loss: 5393.02 .. NELBO: 5395.62
****************************************************************************************************
Validation loss decreased (10848.718750 --> 10791.246094).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 4.38 .. Rec_loss: 12090.68 .. NELBO: 12095.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.1 .. Rec_loss: 5359.33 .. NELBO: 5360.43
****************************************************************************************************
Validation loss decreased (10791.246094 --> 10720.857422).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 1.84 .. Rec_loss: 11989.8 .. NELBO: 11991.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 5325.7 .. NELBO: 5326.13
****************************************************************************************************
Validation loss decreased (10720.857422 --> 10652.261719).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.7 .. Rec_loss: 11887.78 .. NELBO: 11888.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.19 .. Rec_loss: 5303.51 .. NELBO: 5303.7
****************************************************************************************************
Validation loss decreased (10652.261719 --> 10607.416016).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.34 .. Rec_loss: 11810.09 .. NELBO: 11810.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 5303.04 .. NELBO: 5303.14
****************************************************************************************************
Validation loss decreased (10607.416016 --> 10606.274414).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.17 .. Rec_loss: 11777.56 .. NELBO: 11777.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5322.51 .. NELBO: 5322.55
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 11783.69 .. NELBO: 11783.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5344.88 .. NELBO: 5344.9
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.17 .. NELBO: 11796.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5354.93 .. NELBO: 5354.95
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11792.48 .. NELBO: 11792.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5352.55 .. NELBO: 5352.56
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11779.06 .. NELBO: 11779.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5345.2 .. NELBO: 5345.21
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  52
model: ETM(
  (t_drop): Dropout(p=0.12292156783926446, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=83, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=83, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=83, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 84.92 .. Rec_loss: 12264.05 .. NELBO: 12348.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.94 .. Rec_loss: 5444.08 .. NELBO: 5452.02
****************************************************************************************************
Validation loss decreased (inf --> 10904.044922).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.76 .. Rec_loss: 12248.33 .. NELBO: 12257.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.41 .. Rec_loss: 5431.83 .. NELBO: 5432.24
****************************************************************************************************
Validation loss decreased (10904.044922 --> 10864.485352).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.59 .. Rec_loss: 12208.05 .. NELBO: 12208.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5408.7 .. NELBO: 5408.77
****************************************************************************************************
Validation loss decreased (10864.485352 --> 10817.531250).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12137.21 .. NELBO: 12137.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5376.0 .. NELBO: 5376.03
****************************************************************************************************
Validation loss decreased (10817.531250 --> 10752.055664).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12040.74 .. NELBO: 12040.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5339.73 .. NELBO: 5339.75
****************************************************************************************************
Validation loss decreased (10752.055664 --> 10679.500000).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11932.92 .. NELBO: 11932.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.55 .. NELBO: 5310.57
****************************************************************************************************
Validation loss decreased (10679.500000 --> 10621.146484).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11840.01 .. NELBO: 11840.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.49 .. NELBO: 5300.51
****************************************************************************************************
Validation loss decreased (10621.146484 --> 10601.008789).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11788.36 .. NELBO: 11788.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.2 .. NELBO: 5313.22
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.32 .. NELBO: 11781.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.25 .. NELBO: 5336.27
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.09 .. NELBO: 11793.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.43 .. NELBO: 5351.45
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.64 .. NELBO: 11795.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.08 .. NELBO: 5353.1
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11784.35 .. NELBO: 11784.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.05 .. NELBO: 5347.07
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.12292156783926446, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=83, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=83, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=83, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 86.6 .. Rec_loss: 12264.59 .. NELBO: 12351.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.69 .. Rec_loss: 5444.28 .. NELBO: 5451.97
****************************************************************************************************
Validation loss decreased (inf --> 10903.948242).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.62 .. Rec_loss: 12249.58 .. NELBO: 12258.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 5432.82 .. NELBO: 5433.27
****************************************************************************************************
Validation loss decreased (10903.948242 --> 10866.537109).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.64 .. Rec_loss: 12212.19 .. NELBO: 12212.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5410.55 .. NELBO: 5410.62
****************************************************************************************************
Validation loss decreased (10866.537109 --> 10821.233398).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12143.79 .. NELBO: 12143.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5378.56 .. NELBO: 5378.58
****************************************************************************************************
Validation loss decreased (10821.233398 --> 10757.167969).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12048.68 .. NELBO: 12048.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5342.3 .. NELBO: 5342.32
****************************************************************************************************
Validation loss decreased (10757.167969 --> 10684.638672).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11941.84 .. NELBO: 11941.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.05 .. NELBO: 5312.07
****************************************************************************************************
Validation loss decreased (10684.638672 --> 10624.130859).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11847.8 .. NELBO: 11847.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.05 .. NELBO: 5300.07
****************************************************************************************************
Validation loss decreased (10624.130859 --> 10600.136719).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11791.21 .. NELBO: 11791.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.25 .. NELBO: 5311.27
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11780.95 .. NELBO: 11780.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5334.36 .. NELBO: 5334.38
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11792.64 .. NELBO: 11792.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.72 .. NELBO: 5350.74
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.97 .. NELBO: 11796.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.37 .. NELBO: 5353.39
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11785.37 .. NELBO: 11785.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.69 .. NELBO: 5347.71
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.12292156783926446, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=83, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=83, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=83, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 86.81 .. Rec_loss: 12264.14 .. NELBO: 12350.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.88 .. Rec_loss: 5444.12 .. NELBO: 5452.0
****************************************************************************************************
Validation loss decreased (inf --> 10904.000977).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.79 .. Rec_loss: 12248.82 .. NELBO: 12257.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.46 .. Rec_loss: 5432.04 .. NELBO: 5432.5
****************************************************************************************************
Validation loss decreased (10904.000977 --> 10865.004883).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.66 .. Rec_loss: 12209.06 .. NELBO: 12209.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5408.8 .. NELBO: 5408.87
****************************************************************************************************
Validation loss decreased (10865.004883 --> 10817.738281).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12137.93 .. NELBO: 12138.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5375.87 .. NELBO: 5375.89
****************************************************************************************************
Validation loss decreased (10817.738281 --> 10751.792969).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12040.39 .. NELBO: 12040.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5339.32 .. NELBO: 5339.34
****************************************************************************************************
Validation loss decreased (10751.792969 --> 10678.679688).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11932.24 .. NELBO: 11932.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.09 .. NELBO: 5310.11
****************************************************************************************************
Validation loss decreased (10678.679688 --> 10620.216797).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11839.88 .. NELBO: 11839.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.45 .. NELBO: 5300.47
****************************************************************************************************
Validation loss decreased (10620.216797 --> 10600.934570).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11788.03 .. NELBO: 11788.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.88 .. NELBO: 5313.9
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.72 .. NELBO: 11781.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.28 .. NELBO: 5337.3
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11794.47 .. NELBO: 11794.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.16 .. NELBO: 5352.18
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.12 .. NELBO: 11796.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.29 .. NELBO: 5353.31
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11784.2 .. NELBO: 11784.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.91 .. NELBO: 5346.93
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  53
model: ETM(
  (t_drop): Dropout(p=0.05424595283128114, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=83, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=83, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=83, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 81.19 .. Rec_loss: 12264.4 .. NELBO: 12345.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.95 .. Rec_loss: 5444.11 .. NELBO: 5452.06
****************************************************************************************************
Validation loss decreased (inf --> 10904.108398).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.57 .. Rec_loss: 12248.69 .. NELBO: 12257.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.37 .. Rec_loss: 5432.07 .. NELBO: 5432.44
****************************************************************************************************
Validation loss decreased (10904.108398 --> 10864.872070).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.53 .. Rec_loss: 12209.31 .. NELBO: 12209.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5409.4 .. NELBO: 5409.46
****************************************************************************************************
Validation loss decreased (10864.872070 --> 10818.937500).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12139.78 .. NELBO: 12139.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5377.08 .. NELBO: 5377.1
****************************************************************************************************
Validation loss decreased (10818.937500 --> 10754.208008).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12044.25 .. NELBO: 12044.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5340.85 .. NELBO: 5340.87
****************************************************************************************************
Validation loss decreased (10754.208008 --> 10681.732422).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11937.47 .. NELBO: 11937.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.14 .. NELBO: 5311.16
****************************************************************************************************
Validation loss decreased (10681.732422 --> 10622.320312).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11843.63 .. NELBO: 11843.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.14 .. NELBO: 5300.16
****************************************************************************************************
Validation loss decreased (10622.320312 --> 10600.319336).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11789.44 .. NELBO: 11789.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.2 .. NELBO: 5312.22
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.01 .. NELBO: 11781.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.33 .. NELBO: 5335.35
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11793.04 .. NELBO: 11793.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.05 .. NELBO: 5351.07
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.79 .. NELBO: 11795.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.12 .. NELBO: 5353.14
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11784.04 .. NELBO: 11784.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.24 .. NELBO: 5347.26
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05424595283128114, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=83, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=83, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=83, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 87.73 .. Rec_loss: 12264.32 .. NELBO: 12352.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.72 .. Rec_loss: 5444.22 .. NELBO: 5451.94
****************************************************************************************************
Validation loss decreased (inf --> 10903.875000).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.33 .. Rec_loss: 12248.92 .. NELBO: 12257.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 5432.15 .. NELBO: 5432.58
****************************************************************************************************
Validation loss decreased (10903.875000 --> 10865.171875).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.62 .. Rec_loss: 12209.42 .. NELBO: 12210.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5409.28 .. NELBO: 5409.35
****************************************************************************************************
Validation loss decreased (10865.171875 --> 10818.711914).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12139.04 .. NELBO: 12139.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5376.77 .. NELBO: 5376.8
****************************************************************************************************
Validation loss decreased (10818.711914 --> 10753.588867).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12042.99 .. NELBO: 12043.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5340.45 .. NELBO: 5340.47
****************************************************************************************************
Validation loss decreased (10753.588867 --> 10680.941406).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11934.69 .. NELBO: 11934.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.98 .. NELBO: 5311.0
****************************************************************************************************
Validation loss decreased (10680.941406 --> 10621.994141).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11842.04 .. NELBO: 11842.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.47 .. NELBO: 5300.49
****************************************************************************************************
Validation loss decreased (10621.994141 --> 10600.987305).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11789.04 .. NELBO: 11789.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.95 .. NELBO: 5312.97
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.08 .. NELBO: 11781.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.14 .. NELBO: 5336.16
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.24 .. NELBO: 11793.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.57 .. NELBO: 5351.59
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.86 .. NELBO: 11795.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.29 .. NELBO: 5353.31
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11784.2 .. NELBO: 11784.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.2 .. NELBO: 5347.22
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05424595283128114, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=83, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=83, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=83, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 99.86 .. Rec_loss: 12263.91 .. NELBO: 12363.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.81 .. Rec_loss: 5443.94 .. NELBO: 5452.75
****************************************************************************************************
Validation loss decreased (inf --> 10905.492188).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 9.55 .. Rec_loss: 12247.67 .. NELBO: 12257.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.53 .. Rec_loss: 5431.73 .. NELBO: 5432.26
****************************************************************************************************
Validation loss decreased (10905.492188 --> 10864.517578).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.76 .. Rec_loss: 12207.75 .. NELBO: 12208.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5408.42 .. NELBO: 5408.51
****************************************************************************************************
Validation loss decreased (10864.517578 --> 10817.012695).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 12136.78 .. NELBO: 12136.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5375.46 .. NELBO: 5375.49
****************************************************************************************************
Validation loss decreased (10817.012695 --> 10750.972656).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12038.8 .. NELBO: 12038.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5338.97 .. NELBO: 5338.99
****************************************************************************************************
Validation loss decreased (10750.972656 --> 10677.992188).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11931.31 .. NELBO: 11931.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5309.85 .. NELBO: 5309.87
****************************************************************************************************
Validation loss decreased (10677.992188 --> 10619.740234).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11838.52 .. NELBO: 11838.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.3 .. NELBO: 5300.32
****************************************************************************************************
Validation loss decreased (10619.740234 --> 10600.641602).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11787.31 .. NELBO: 11787.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.8 .. NELBO: 5313.82
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.43 .. NELBO: 11781.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.17 .. NELBO: 5337.19
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.59 .. NELBO: 11793.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.06 .. NELBO: 5352.08
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.8 .. NELBO: 11795.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.28 .. NELBO: 5353.3
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11783.71 .. NELBO: 11783.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.0 .. NELBO: 5347.02
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  54
model: ETM(
  (t_drop): Dropout(p=0.05552574250624165, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=58, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=58, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=58, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 68.41 .. Rec_loss: 12264.31 .. NELBO: 12332.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.91 .. Rec_loss: 5443.98 .. NELBO: 5450.89
****************************************************************************************************
Validation loss decreased (inf --> 10901.782227).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.38 .. Rec_loss: 12248.79 .. NELBO: 12256.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.36 .. Rec_loss: 5432.27 .. NELBO: 5432.63
****************************************************************************************************
Validation loss decreased (10901.782227 --> 10865.265625).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.52 .. Rec_loss: 12209.92 .. NELBO: 12210.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5409.71 .. NELBO: 5409.77
****************************************************************************************************
Validation loss decreased (10865.265625 --> 10819.548828).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 12140.88 .. NELBO: 12140.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5377.45 .. NELBO: 5377.47
****************************************************************************************************
Validation loss decreased (10819.548828 --> 10754.936523).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12045.75 .. NELBO: 12045.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5341.11 .. NELBO: 5341.12
****************************************************************************************************
Validation loss decreased (10754.936523 --> 10682.252930).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11937.72 .. NELBO: 11937.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5311.28 .. NELBO: 5311.29
****************************************************************************************************
Validation loss decreased (10682.252930 --> 10622.578125).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11844.21 .. NELBO: 11844.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.24 .. NELBO: 5300.25
****************************************************************************************************
Validation loss decreased (10622.578125 --> 10600.505859).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11789.27 .. NELBO: 11789.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5312.4 .. NELBO: 5312.41
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11780.84 .. NELBO: 11780.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5335.68 .. NELBO: 5335.69
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11793.54 .. NELBO: 11793.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5351.29 .. NELBO: 5351.3
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.07 .. NELBO: 11796.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.09 .. NELBO: 5353.1
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11783.97 .. NELBO: 11783.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5347.07 .. NELBO: 5347.08
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05552574250624165, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=58, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=58, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=58, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 79.01 .. Rec_loss: 12263.89 .. NELBO: 12342.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.85 .. Rec_loss: 5443.86 .. NELBO: 5451.71
****************************************************************************************************
Validation loss decreased (inf --> 10903.417969).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.4 .. Rec_loss: 12248.1 .. NELBO: 12256.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.37 .. Rec_loss: 5432.25 .. NELBO: 5432.62
****************************************************************************************************
Validation loss decreased (10903.417969 --> 10865.229492).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.52 .. Rec_loss: 12209.91 .. NELBO: 12210.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5410.15 .. NELBO: 5410.21
****************************************************************************************************
Validation loss decreased (10865.229492 --> 10820.426758).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 12141.8 .. NELBO: 12141.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5378.52 .. NELBO: 5378.54
****************************************************************************************************
Validation loss decreased (10820.426758 --> 10757.078125).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12048.15 .. NELBO: 12048.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5342.67 .. NELBO: 5342.68
****************************************************************************************************
Validation loss decreased (10757.078125 --> 10685.364258).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11940.79 .. NELBO: 11940.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5312.66 .. NELBO: 5312.67
****************************************************************************************************
Validation loss decreased (10685.364258 --> 10625.337891).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11846.82 .. NELBO: 11846.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.61 .. NELBO: 5300.62
****************************************************************************************************
Validation loss decreased (10625.337891 --> 10601.246094).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11790.6 .. NELBO: 11790.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5311.58 .. NELBO: 5311.59
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11779.96 .. NELBO: 11779.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5334.59 .. NELBO: 5334.61
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11792.21 .. NELBO: 11792.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.97 .. NELBO: 5350.99
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.96 .. NELBO: 11795.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.56 .. NELBO: 5353.58
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11785.16 .. NELBO: 11785.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5347.78 .. NELBO: 5347.79
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05552574250624165, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=58, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=58, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=58, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 73.77 .. Rec_loss: 12263.79 .. NELBO: 12337.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.08 .. Rec_loss: 5443.8 .. NELBO: 5450.88
****************************************************************************************************
Validation loss decreased (inf --> 10901.759766).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.7 .. Rec_loss: 12247.72 .. NELBO: 12255.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.51 .. Rec_loss: 5431.9 .. NELBO: 5432.41
****************************************************************************************************
Validation loss decreased (10901.759766 --> 10864.810547).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.75 .. Rec_loss: 12208.4 .. NELBO: 12209.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 5409.36 .. NELBO: 5409.46
****************************************************************************************************
Validation loss decreased (10864.810547 --> 10818.917969).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 12139.19 .. NELBO: 12139.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5377.22 .. NELBO: 5377.24
****************************************************************************************************
Validation loss decreased (10818.917969 --> 10754.488281).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12044.25 .. NELBO: 12044.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5341.08 .. NELBO: 5341.09
****************************************************************************************************
Validation loss decreased (10754.488281 --> 10682.194336).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11936.7 .. NELBO: 11936.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5311.41 .. NELBO: 5311.42
****************************************************************************************************
Validation loss decreased (10682.194336 --> 10622.836914).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11842.27 .. NELBO: 11842.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.43 .. NELBO: 5300.44
****************************************************************************************************
Validation loss decreased (10622.836914 --> 10600.889648).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11788.43 .. NELBO: 11788.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5312.62 .. NELBO: 5312.63
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11780.18 .. NELBO: 11780.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5336.0 .. NELBO: 5336.01
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11793.09 .. NELBO: 11793.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5351.83 .. NELBO: 5351.84
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11796.67 .. NELBO: 11796.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.74 .. NELBO: 5353.75
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11785.03 .. NELBO: 11785.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5347.6 .. NELBO: 5347.61
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  55
model: ETM(
  (t_drop): Dropout(p=0.05616845975971447, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=52, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=52, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=52, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.25 .. Rec_loss: 12263.3 .. NELBO: 12263.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 5442.43 .. NELBO: 5442.81
****************************************************************************************************
Validation loss decreased (inf --> 10885.627930).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.58 .. Rec_loss: 12241.31 .. NELBO: 12242.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5425.96 .. NELBO: 5426.0
****************************************************************************************************
Validation loss decreased (10885.627930 --> 10852.002930).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12189.42 .. NELBO: 12189.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 5398.1 .. NELBO: 5398.2
****************************************************************************************************
Validation loss decreased (10852.002930 --> 10796.394531).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.49 .. Rec_loss: 12105.29 .. NELBO: 12105.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.43 .. Rec_loss: 5361.39 .. NELBO: 5362.82
****************************************************************************************************
Validation loss decreased (10796.394531 --> 10725.631836).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 3.52 .. Rec_loss: 11996.53 .. NELBO: 12000.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.61 .. Rec_loss: 5326.1 .. NELBO: 5327.71
****************************************************************************************************
Validation loss decreased (10725.631836 --> 10655.425781).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 2.33 .. Rec_loss: 11893.23 .. NELBO: 11895.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.46 .. Rec_loss: 5303.62 .. NELBO: 5304.08
****************************************************************************************************
Validation loss decreased (10655.425781 --> 10608.156250).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 1.03 .. Rec_loss: 11815.4 .. NELBO: 11816.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.23 .. Rec_loss: 5302.42 .. NELBO: 5302.65
****************************************************************************************************
Validation loss decreased (10608.156250 --> 10605.300781).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 1.39 .. Rec_loss: 11781.4 .. NELBO: 11782.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.68 .. Rec_loss: 5320.14 .. NELBO: 5320.82
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 1.45 .. Rec_loss: 11784.01 .. NELBO: 11785.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.21 .. Rec_loss: 5340.53 .. NELBO: 5340.74
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.7 .. Rec_loss: 11791.95 .. NELBO: 11792.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.13 .. Rec_loss: 5347.41 .. NELBO: 5348.54
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 3.64 .. Rec_loss: 11783.34 .. NELBO: 11786.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.29 .. Rec_loss: 5342.94 .. NELBO: 5345.23
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 3.89 .. Rec_loss: 11768.21 .. NELBO: 11772.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.71 .. Rec_loss: 5337.15 .. NELBO: 5338.86
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05616845975971447, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=52, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=52, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=52, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.27 .. Rec_loss: 12263.06 .. NELBO: 12263.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.31 .. Rec_loss: 5441.96 .. NELBO: 5442.27
****************************************************************************************************
Validation loss decreased (inf --> 10884.539062).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.85 .. Rec_loss: 12239.39 .. NELBO: 12241.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5424.45 .. NELBO: 5424.5
****************************************************************************************************
Validation loss decreased (10884.539062 --> 10849.002930).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12183.87 .. NELBO: 12183.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 5395.54 .. NELBO: 5395.64
****************************************************************************************************
Validation loss decreased (10849.002930 --> 10791.274414).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.42 .. Rec_loss: 12097.72 .. NELBO: 12098.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.12 .. Rec_loss: 5358.33 .. NELBO: 5359.45
****************************************************************************************************
Validation loss decreased (10791.274414 --> 10718.904297).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 3.64 .. Rec_loss: 11986.5 .. NELBO: 11990.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.79 .. Rec_loss: 5323.28 .. NELBO: 5325.07
****************************************************************************************************
Validation loss decreased (10718.904297 --> 10650.129883).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 2.3 .. Rec_loss: 11884.5 .. NELBO: 11886.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5302.7 .. NELBO: 5302.78
****************************************************************************************************
Validation loss decreased (10650.129883 --> 10605.545898).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 11810.44 .. NELBO: 11810.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.29 .. Rec_loss: 5303.97 .. NELBO: 5304.26
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.75 .. Rec_loss: 11781.07 .. NELBO: 11781.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 5323.56 .. NELBO: 5323.7
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.46 .. Rec_loss: 11786.5 .. NELBO: 11786.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.36 .. Rec_loss: 5343.08 .. NELBO: 5343.44
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 1.05 .. Rec_loss: 11793.8 .. NELBO: 11794.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.44 .. Rec_loss: 5350.06 .. NELBO: 5350.5
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 1.4 .. Rec_loss: 11786.47 .. NELBO: 11787.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.2 .. Rec_loss: 5345.25 .. NELBO: 5346.45
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05616845975971447, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=52, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=52, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=52, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.26 .. Rec_loss: 12263.31 .. NELBO: 12263.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.37 .. Rec_loss: 5442.26 .. NELBO: 5442.63
****************************************************************************************************
Validation loss decreased (inf --> 10885.255859).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.65 .. Rec_loss: 12240.71 .. NELBO: 12242.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5425.36 .. NELBO: 5425.41
****************************************************************************************************
Validation loss decreased (10885.255859 --> 10850.814453).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12187.5 .. NELBO: 12187.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5397.04 .. NELBO: 5397.11
****************************************************************************************************
Validation loss decreased (10850.814453 --> 10794.214844).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.25 .. Rec_loss: 12102.13 .. NELBO: 12102.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.57 .. Rec_loss: 5360.41 .. NELBO: 5360.98
****************************************************************************************************
Validation loss decreased (10794.214844 --> 10721.958984).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 2.13 .. Rec_loss: 11994.84 .. NELBO: 11996.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.98 .. Rec_loss: 5324.92 .. NELBO: 5325.9
****************************************************************************************************
Validation loss decreased (10721.958984 --> 10651.801758).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 1.24 .. Rec_loss: 11890.18 .. NELBO: 11891.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.21 .. Rec_loss: 5303.01 .. NELBO: 5303.22
****************************************************************************************************
Validation loss decreased (10651.801758 --> 10606.434570).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 11813.67 .. NELBO: 11814.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.31 .. Rec_loss: 5303.36 .. NELBO: 5303.67
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.55 .. Rec_loss: 11782.14 .. NELBO: 11782.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.34 .. Rec_loss: 5322.05 .. NELBO: 5322.39
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.79 .. Rec_loss: 11785.63 .. NELBO: 11786.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.3 .. Rec_loss: 5342.32 .. NELBO: 5342.62
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.89 .. Rec_loss: 11793.61 .. NELBO: 11794.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.36 .. Rec_loss: 5348.83 .. NELBO: 5350.19
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 3.99 .. Rec_loss: 11784.56 .. NELBO: 11788.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.72 .. Rec_loss: 5343.59 .. NELBO: 5346.31
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  56
model: ETM(
  (t_drop): Dropout(p=0.06336470859555748, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=85, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=85, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=85, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 854.4 .. Rec_loss: 12264.37 .. NELBO: 13118.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 19.91 .. Rec_loss: 5445.4 .. NELBO: 5465.31
****************************************************************************************************
Validation loss decreased (inf --> 10930.631836).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 22.41 .. Rec_loss: 12253.21 .. NELBO: 12275.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.11 .. Rec_loss: 5436.26 .. NELBO: 5438.37
****************************************************************************************************
Validation loss decreased (10930.631836 --> 10876.727539).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 3.75 .. Rec_loss: 12223.15 .. NELBO: 12226.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.0 .. Rec_loss: 5418.45 .. NELBO: 5419.45
****************************************************************************************************
Validation loss decreased (10876.727539 --> 10838.906250).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 1.6 .. Rec_loss: 12167.07 .. NELBO: 12168.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.28 .. Rec_loss: 5390.9 .. NELBO: 5391.18
****************************************************************************************************
Validation loss decreased (10838.906250 --> 10782.353516).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.44 .. Rec_loss: 12083.68 .. NELBO: 12084.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 5356.57 .. NELBO: 5356.67
****************************************************************************************************
Validation loss decreased (10782.353516 --> 10713.331055).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.17 .. Rec_loss: 11980.66 .. NELBO: 11980.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5323.23 .. NELBO: 5323.29
****************************************************************************************************
Validation loss decreased (10713.331055 --> 10646.574219).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 11879.54 .. NELBO: 11879.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5302.66 .. NELBO: 5302.72
****************************************************************************************************
Validation loss decreased (10646.574219 --> 10605.440430).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 11804.89 .. NELBO: 11805.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5304.54 .. NELBO: 5304.62
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 11777.24 .. NELBO: 11777.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5325.21 .. NELBO: 5325.26
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 11785.22 .. NELBO: 11785.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5346.66 .. NELBO: 5346.69
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11796.57 .. NELBO: 11796.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5355.2 .. NELBO: 5355.22
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11792.04 .. NELBO: 11792.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.97 .. NELBO: 5351.99
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06336470859555748, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=85, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=85, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=85, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1286.17 .. Rec_loss: 12264.06 .. NELBO: 13550.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 25.79 .. Rec_loss: 5445.33 .. NELBO: 5471.12
****************************************************************************************************
Validation loss decreased (inf --> 10942.243164).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 32.88 .. Rec_loss: 12253.24 .. NELBO: 12286.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.7 .. Rec_loss: 5436.45 .. NELBO: 5445.15
****************************************************************************************************
Validation loss decreased (10942.243164 --> 10890.301758).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 18.41 .. Rec_loss: 12223.72 .. NELBO: 12242.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.21 .. Rec_loss: 5418.63 .. NELBO: 5426.84
****************************************************************************************************
Validation loss decreased (10890.301758 --> 10853.684570).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 16.16 .. Rec_loss: 12168.22 .. NELBO: 12184.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.08 .. Rec_loss: 5391.22 .. NELBO: 5397.3
****************************************************************************************************
Validation loss decreased (10853.684570 --> 10794.589844).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 11.96 .. Rec_loss: 12084.67 .. NELBO: 12096.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.27 .. Rec_loss: 5357.1 .. NELBO: 5361.37
****************************************************************************************************
Validation loss decreased (10794.589844 --> 10722.750000).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 8.24 .. Rec_loss: 11982.22 .. NELBO: 11990.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.1 .. Rec_loss: 5323.82 .. NELBO: 5326.92
****************************************************************************************************
Validation loss decreased (10722.750000 --> 10653.840820).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 6.1 .. Rec_loss: 11880.83 .. NELBO: 11886.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.26 .. Rec_loss: 5302.89 .. NELBO: 5305.15
****************************************************************************************************
Validation loss decreased (10653.840820 --> 10610.309570).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 4.42 .. Rec_loss: 11805.84 .. NELBO: 11810.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.62 .. Rec_loss: 5304.12 .. NELBO: 5305.74
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 3.1 .. Rec_loss: 11776.75 .. NELBO: 11779.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.12 .. Rec_loss: 5324.43 .. NELBO: 5325.55
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 2.14 .. Rec_loss: 11784.33 .. NELBO: 11786.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.74 .. Rec_loss: 5346.05 .. NELBO: 5346.79
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 1.42 .. Rec_loss: 11795.99 .. NELBO: 11797.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.47 .. Rec_loss: 5354.75 .. NELBO: 5355.22
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.9 .. Rec_loss: 11791.2 .. NELBO: 11792.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.29 .. Rec_loss: 5351.5 .. NELBO: 5351.79
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06336470859555748, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=85, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=85, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=85, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1153.06 .. Rec_loss: 12264.33 .. NELBO: 13417.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 22.27 .. Rec_loss: 5445.22 .. NELBO: 5467.49
****************************************************************************************************
Validation loss decreased (inf --> 10934.986328).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 25.13 .. Rec_loss: 12252.65 .. NELBO: 12277.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.17 .. Rec_loss: 5436.0 .. NELBO: 5438.17
****************************************************************************************************
Validation loss decreased (10934.986328 --> 10876.334961).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 4.25 .. Rec_loss: 12222.17 .. NELBO: 12226.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.57 .. Rec_loss: 5418.02 .. NELBO: 5419.59
****************************************************************************************************
Validation loss decreased (10876.334961 --> 10839.166016).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 2.93 .. Rec_loss: 12165.12 .. NELBO: 12168.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.02 .. Rec_loss: 5390.2 .. NELBO: 5391.22
****************************************************************************************************
Validation loss decreased (10839.166016 --> 10782.421875).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 1.94 .. Rec_loss: 12080.91 .. NELBO: 12082.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.7 .. Rec_loss: 5355.58 .. NELBO: 5356.28
****************************************************************************************************
Validation loss decreased (10782.421875 --> 10712.561523).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 1.35 .. Rec_loss: 11977.44 .. NELBO: 11978.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.49 .. Rec_loss: 5322.13 .. NELBO: 5322.62
****************************************************************************************************
Validation loss decreased (10712.561523 --> 10645.253906).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 1.05 .. Rec_loss: 11875.1 .. NELBO: 11876.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 5301.96 .. NELBO: 5302.34
****************************************************************************************************
Validation loss decreased (10645.253906 --> 10604.665039).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.72 .. Rec_loss: 11801.28 .. NELBO: 11802.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.23 .. Rec_loss: 5304.76 .. NELBO: 5304.99
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.46 .. Rec_loss: 11775.64 .. NELBO: 11776.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.16 .. Rec_loss: 5326.36 .. NELBO: 5326.52
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.28 .. Rec_loss: 11785.55 .. NELBO: 11785.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5348.1 .. NELBO: 5348.19
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.17 .. Rec_loss: 11797.2 .. NELBO: 11797.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5356.31 .. NELBO: 5356.36
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 11791.99 .. NELBO: 11792.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5352.66 .. NELBO: 5352.69
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  57
model: ETM(
  (t_drop): Dropout(p=0.00478877349456689, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 86.46 .. Rec_loss: 12264.07 .. NELBO: 12350.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.82 .. Rec_loss: 5443.85 .. NELBO: 5451.67
****************************************************************************************************
Validation loss decreased (inf --> 10903.354492).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.4 .. Rec_loss: 12247.47 .. NELBO: 12255.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.44 .. Rec_loss: 5431.08 .. NELBO: 5431.52
****************************************************************************************************
Validation loss decreased (10903.354492 --> 10863.055664).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.63 .. Rec_loss: 12205.88 .. NELBO: 12206.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5407.3 .. NELBO: 5407.37
****************************************************************************************************
Validation loss decreased (10863.055664 --> 10814.750000).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12133.26 .. NELBO: 12133.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5373.91 .. NELBO: 5373.94
****************************************************************************************************
Validation loss decreased (10814.750000 --> 10747.877930).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12035.12 .. NELBO: 12035.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.3 .. NELBO: 5337.32
****************************************************************************************************
Validation loss decreased (10747.877930 --> 10674.634766).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11926.08 .. NELBO: 11926.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5308.7 .. NELBO: 5308.72
****************************************************************************************************
Validation loss decreased (10674.634766 --> 10617.436523).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11835.2 .. NELBO: 11835.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.26 .. NELBO: 5300.28
****************************************************************************************************
Validation loss decreased (10617.436523 --> 10600.558594).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11786.39 .. NELBO: 11786.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5314.73 .. NELBO: 5314.75
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.98 .. NELBO: 11782.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5338.15 .. NELBO: 5338.17
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11794.77 .. NELBO: 11794.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.34 .. NELBO: 5352.36
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.35 .. NELBO: 11795.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.95 .. NELBO: 5352.97
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11782.89 .. NELBO: 11782.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.5 .. NELBO: 5346.52
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.00478877349456689, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 96.12 .. Rec_loss: 12264.14 .. NELBO: 12360.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.25 .. Rec_loss: 5444.44 .. NELBO: 5452.69
****************************************************************************************************
Validation loss decreased (inf --> 10905.389648).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.85 .. Rec_loss: 12249.76 .. NELBO: 12258.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.49 .. Rec_loss: 5433.22 .. NELBO: 5433.71
****************************************************************************************************
Validation loss decreased (10905.389648 --> 10867.418945).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.69 .. Rec_loss: 12212.63 .. NELBO: 12213.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5411.43 .. NELBO: 5411.51
****************************************************************************************************
Validation loss decreased (10867.418945 --> 10823.015625).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12145.16 .. NELBO: 12145.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5379.74 .. NELBO: 5379.77
****************************************************************************************************
Validation loss decreased (10823.015625 --> 10759.540039).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12051.21 .. NELBO: 12051.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5343.44 .. NELBO: 5343.46
****************************************************************************************************
Validation loss decreased (10759.540039 --> 10686.909180).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11943.63 .. NELBO: 11943.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.78 .. NELBO: 5312.8
****************************************************************************************************
Validation loss decreased (10686.909180 --> 10625.587891).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11847.61 .. NELBO: 11847.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.31 .. NELBO: 5300.33
****************************************************************************************************
Validation loss decreased (10625.587891 --> 10600.659180).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11789.95 .. NELBO: 11789.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.37 .. NELBO: 5311.39
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11779.65 .. NELBO: 11779.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5334.79 .. NELBO: 5334.81
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11792.26 .. NELBO: 11792.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.48 .. NELBO: 5351.5
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.57 .. NELBO: 11796.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5354.14 .. NELBO: 5354.16
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11785.83 .. NELBO: 11785.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5348.24 .. NELBO: 5348.26
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.00478877349456689, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 92.74 .. Rec_loss: 12264.31 .. NELBO: 12357.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.28 .. Rec_loss: 5444.11 .. NELBO: 5452.39
****************************************************************************************************
Validation loss decreased (inf --> 10904.767578).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.92 .. Rec_loss: 12248.83 .. NELBO: 12257.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.53 .. Rec_loss: 5432.56 .. NELBO: 5433.09
****************************************************************************************************
Validation loss decreased (10904.767578 --> 10866.169922).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.75 .. Rec_loss: 12210.92 .. NELBO: 12211.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5410.33 .. NELBO: 5410.41
****************************************************************************************************
Validation loss decreased (10866.169922 --> 10820.832031).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 12142.75 .. NELBO: 12142.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5378.21 .. NELBO: 5378.24
****************************************************************************************************
Validation loss decreased (10820.832031 --> 10756.475586).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12047.54 .. NELBO: 12047.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5341.73 .. NELBO: 5341.75
****************************************************************************************************
Validation loss decreased (10756.475586 --> 10683.511719).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11939.1 .. NELBO: 11939.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.53 .. NELBO: 5311.55
****************************************************************************************************
Validation loss decreased (10683.511719 --> 10623.106445).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11844.34 .. NELBO: 11844.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.14 .. NELBO: 5300.16
****************************************************************************************************
Validation loss decreased (10623.106445 --> 10600.326172).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11789.57 .. NELBO: 11789.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.27 .. NELBO: 5312.29
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.02 .. NELBO: 11781.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.76 .. NELBO: 5335.78
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.47 .. NELBO: 11793.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.57 .. NELBO: 5351.59
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.33 .. NELBO: 11796.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.44 .. NELBO: 5353.46
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11784.91 .. NELBO: 11784.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.32 .. NELBO: 5347.34
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  58
model: ETM(
  (t_drop): Dropout(p=0.15322569984956702, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1058.48 .. Rec_loss: 12263.98 .. NELBO: 13322.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 20.76 .. Rec_loss: 5445.46 .. NELBO: 5466.22
****************************************************************************************************
Validation loss decreased (inf --> 10932.433594).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 23.88 .. Rec_loss: 12253.41 .. NELBO: 12277.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.67 .. Rec_loss: 5436.1 .. NELBO: 5438.77
****************************************************************************************************
Validation loss decreased (10932.433594 --> 10877.537109).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 5.77 .. Rec_loss: 12222.6 .. NELBO: 12228.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.9 .. Rec_loss: 5417.93 .. NELBO: 5419.83
****************************************************************************************************
Validation loss decreased (10877.537109 --> 10839.653320).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 3.55 .. Rec_loss: 12165.61 .. NELBO: 12169.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.87 .. Rec_loss: 5389.87 .. NELBO: 5390.74
****************************************************************************************************
Validation loss decreased (10839.653320 --> 10781.476562).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 1.7 .. Rec_loss: 12080.76 .. NELBO: 12082.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.41 .. Rec_loss: 5355.1 .. NELBO: 5355.51
****************************************************************************************************
Validation loss decreased (10781.476562 --> 10711.028320).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.82 .. Rec_loss: 11976.93 .. NELBO: 11977.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.23 .. Rec_loss: 5321.73 .. NELBO: 5321.96
****************************************************************************************************
Validation loss decreased (10711.028320 --> 10643.911133).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.47 .. Rec_loss: 11874.74 .. NELBO: 11875.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.18 .. Rec_loss: 5301.9 .. NELBO: 5302.08
****************************************************************************************************
Validation loss decreased (10643.911133 --> 10604.166016).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 11802.19 .. NELBO: 11802.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.17 .. Rec_loss: 5305.04 .. NELBO: 5305.21
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.32 .. Rec_loss: 11776.68 .. NELBO: 11777.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5326.41 .. NELBO: 5326.48
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 11786.0 .. NELBO: 11786.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5347.52 .. NELBO: 5347.55
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11797.21 .. NELBO: 11797.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5355.28 .. NELBO: 5355.3
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11790.55 .. NELBO: 11790.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.62 .. NELBO: 5351.64
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.15322569984956702, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 894.89 .. Rec_loss: 12264.6 .. NELBO: 13159.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 23.62 .. Rec_loss: 5446.16 .. NELBO: 5469.78
****************************************************************************************************
Validation loss decreased (inf --> 10939.560547).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 28.09 .. Rec_loss: 12255.71 .. NELBO: 12283.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.08 .. Rec_loss: 5438.15 .. NELBO: 5441.23
****************************************************************************************************
Validation loss decreased (10939.560547 --> 10882.475586).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 6.44 .. Rec_loss: 12229.34 .. NELBO: 12235.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.94 .. Rec_loss: 5422.09 .. NELBO: 5424.03
****************************************************************************************************
Validation loss decreased (10882.475586 --> 10848.073242).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 3.66 .. Rec_loss: 12178.06 .. NELBO: 12181.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.73 .. Rec_loss: 5396.2 .. NELBO: 5396.93
****************************************************************************************************
Validation loss decreased (10848.073242 --> 10793.870117).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 1.29 .. Rec_loss: 12099.09 .. NELBO: 12100.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.21 .. Rec_loss: 5362.59 .. NELBO: 5362.8
****************************************************************************************************
Validation loss decreased (10793.870117 --> 10725.604492).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 11997.78 .. NELBO: 11998.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 5328.23 .. NELBO: 5328.34
****************************************************************************************************
Validation loss decreased (10725.604492 --> 10656.683594).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.24 .. Rec_loss: 11893.56 .. NELBO: 11893.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 5304.6 .. NELBO: 5304.72
****************************************************************************************************
Validation loss decreased (10656.683594 --> 10609.441406).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.24 .. Rec_loss: 11812.94 .. NELBO: 11813.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5302.62 .. NELBO: 5302.7
****************************************************************************************************
Validation loss decreased (10609.441406 --> 10605.394531).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 11777.95 .. NELBO: 11778.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5321.46 .. NELBO: 5321.49
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11782.27 .. NELBO: 11782.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5344.47 .. NELBO: 5344.49
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11795.91 .. NELBO: 11795.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5355.54 .. NELBO: 5355.56
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11794.02 .. NELBO: 11794.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.65 .. NELBO: 5353.67
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11779.88 .. NELBO: 11779.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.29 .. NELBO: 5346.31
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.15322569984956702, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1182.94 .. Rec_loss: 12264.58 .. NELBO: 13447.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 26.46 .. Rec_loss: 5445.59 .. NELBO: 5472.05
****************************************************************************************************
Validation loss decreased (inf --> 10944.106445).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 34.76 .. Rec_loss: 12254.02 .. NELBO: 12288.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 9.54 .. Rec_loss: 5436.78 .. NELBO: 5446.32
****************************************************************************************************
Validation loss decreased (10944.106445 --> 10892.654297).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 21.62 .. Rec_loss: 12225.23 .. NELBO: 12246.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 9.48 .. Rec_loss: 5419.52 .. NELBO: 5429.0
****************************************************************************************************
Validation loss decreased (10892.654297 --> 10857.982422).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 19.24 .. Rec_loss: 12170.77 .. NELBO: 12190.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.33 .. Rec_loss: 5392.42 .. NELBO: 5398.75
****************************************************************************************************
Validation loss decreased (10857.982422 --> 10797.504883).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 12.94 .. Rec_loss: 12088.53 .. NELBO: 12101.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.98 .. Rec_loss: 5358.29 .. NELBO: 5362.27
****************************************************************************************************
Validation loss decreased (10797.504883 --> 10724.532227).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 7.91 .. Rec_loss: 11986.11 .. NELBO: 11994.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.56 .. Rec_loss: 5324.63 .. NELBO: 5327.19
****************************************************************************************************
Validation loss decreased (10724.532227 --> 10654.392578).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 5.23 .. Rec_loss: 11883.34 .. NELBO: 11888.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.75 .. Rec_loss: 5303.1 .. NELBO: 5304.85
****************************************************************************************************
Validation loss decreased (10654.392578 --> 10609.693359).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 3.7 .. Rec_loss: 11807.59 .. NELBO: 11811.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.2 .. Rec_loss: 5303.69 .. NELBO: 5304.89
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 2.33 .. Rec_loss: 11777.42 .. NELBO: 11779.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.8 .. Rec_loss: 5323.64 .. NELBO: 5324.44
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 1.55 .. Rec_loss: 11784.34 .. NELBO: 11785.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.52 .. Rec_loss: 5345.27 .. NELBO: 5345.79
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 1.03 .. Rec_loss: 11795.78 .. NELBO: 11796.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.33 .. Rec_loss: 5354.25 .. NELBO: 5354.58
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.69 .. Rec_loss: 11791.7 .. NELBO: 11792.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.23 .. Rec_loss: 5351.3 .. NELBO: 5351.53
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  59
model: ETM(
  (t_drop): Dropout(p=0.07860691530231233, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 964.73 .. Rec_loss: 12265.2 .. NELBO: 13229.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 18.75 .. Rec_loss: 5445.92 .. NELBO: 5464.67
****************************************************************************************************
Validation loss decreased (inf --> 10929.351562).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 22.89 .. Rec_loss: 12255.16 .. NELBO: 12278.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.44 .. Rec_loss: 5437.54 .. NELBO: 5441.98
****************************************************************************************************
Validation loss decreased (10929.351562 --> 10883.964844).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 8.88 .. Rec_loss: 12227.76 .. NELBO: 12236.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.25 .. Rec_loss: 5420.78 .. NELBO: 5424.03
****************************************************************************************************
Validation loss decreased (10883.964844 --> 10848.051758).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 6.01 .. Rec_loss: 12174.92 .. NELBO: 12180.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.9 .. Rec_loss: 5394.21 .. NELBO: 5396.11
****************************************************************************************************
Validation loss decreased (10848.051758 --> 10792.222656).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 3.47 .. Rec_loss: 12094.51 .. NELBO: 12097.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.11 .. Rec_loss: 5360.32 .. NELBO: 5361.43
****************************************************************************************************
Validation loss decreased (10792.222656 --> 10722.871094).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 2.18 .. Rec_loss: 11993.11 .. NELBO: 11995.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.76 .. Rec_loss: 5326.22 .. NELBO: 5326.98
****************************************************************************************************
Validation loss decreased (10722.871094 --> 10653.956055).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 1.53 .. Rec_loss: 11889.71 .. NELBO: 11891.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.56 .. Rec_loss: 5303.42 .. NELBO: 5303.98
****************************************************************************************************
Validation loss decreased (10653.956055 --> 10607.958984).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 1.17 .. Rec_loss: 11810.44 .. NELBO: 11811.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.42 .. Rec_loss: 5302.55 .. NELBO: 5302.97
****************************************************************************************************
Validation loss decreased (10607.958984 --> 10605.921875).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.79 .. Rec_loss: 11777.47 .. NELBO: 11778.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.26 .. Rec_loss: 5322.02 .. NELBO: 5322.28
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.49 .. Rec_loss: 11783.3 .. NELBO: 11783.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.15 .. Rec_loss: 5344.62 .. NELBO: 5344.77
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.27 .. Rec_loss: 11796.22 .. NELBO: 11796.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5354.9 .. NELBO: 5354.97
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 11792.54 .. NELBO: 11792.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5352.64 .. NELBO: 5352.67
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11779.32 .. NELBO: 11779.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5345.34 .. NELBO: 5345.36
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.07860691530231233, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 868.75 .. Rec_loss: 12264.78 .. NELBO: 13133.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 19.74 .. Rec_loss: 5445.54 .. NELBO: 5465.28
****************************************************************************************************
Validation loss decreased (inf --> 10930.555664).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 21.06 .. Rec_loss: 12254.21 .. NELBO: 12275.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.59 .. Rec_loss: 5437.06 .. NELBO: 5437.65
****************************************************************************************************
Validation loss decreased (10930.555664 --> 10875.297852).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.96 .. Rec_loss: 12225.69 .. NELBO: 12226.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.2 .. Rec_loss: 5419.88 .. NELBO: 5420.08
****************************************************************************************************
Validation loss decreased (10875.297852 --> 10840.143555).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.31 .. Rec_loss: 12171.37 .. NELBO: 12171.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5392.84 .. NELBO: 5392.91
****************************************************************************************************
Validation loss decreased (10840.143555 --> 10785.808594).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12089.3 .. NELBO: 12089.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5358.63 .. NELBO: 5358.66
****************************************************************************************************
Validation loss decreased (10785.808594 --> 10717.320312).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 11986.7 .. NELBO: 11986.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5324.77 .. NELBO: 5324.8
****************************************************************************************************
Validation loss decreased (10717.320312 --> 10649.597656).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11884.1 .. NELBO: 11884.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5303.15 .. NELBO: 5303.18
****************************************************************************************************
Validation loss decreased (10649.597656 --> 10606.357422).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11806.83 .. NELBO: 11806.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5304.03 .. NELBO: 5304.07
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 11777.03 .. NELBO: 11777.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5324.62 .. NELBO: 5324.66
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 11784.98 .. NELBO: 11785.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5346.82 .. NELBO: 5346.85
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11797.02 .. NELBO: 11797.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5355.94 .. NELBO: 5355.96
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.4 .. NELBO: 11792.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.8 .. NELBO: 5352.82
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.07860691530231233, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1635.71 .. Rec_loss: 12264.66 .. NELBO: 13900.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 27.93 .. Rec_loss: 5445.62 .. NELBO: 5473.55
****************************************************************************************************
Validation loss decreased (inf --> 10947.086914).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 37.16 .. Rec_loss: 12254.68 .. NELBO: 12291.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 12.62 .. Rec_loss: 5437.56 .. NELBO: 5450.18
****************************************************************************************************
Validation loss decreased (10947.086914 --> 10900.344727).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 26.07 .. Rec_loss: 12228.16 .. NELBO: 12254.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 10.03 .. Rec_loss: 5421.3 .. NELBO: 5431.33
****************************************************************************************************
Validation loss decreased (10900.344727 --> 10862.665039).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 18.39 .. Rec_loss: 12176.37 .. NELBO: 12194.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 5.74 .. Rec_loss: 5395.35 .. NELBO: 5401.09
****************************************************************************************************
Validation loss decreased (10862.665039 --> 10802.173828).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 10.99 .. Rec_loss: 12097.35 .. NELBO: 12108.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.77 .. Rec_loss: 5361.98 .. NELBO: 5365.75
****************************************************************************************************
Validation loss decreased (10802.173828 --> 10731.494141).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 7.54 .. Rec_loss: 11997.88 .. NELBO: 12005.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.9 .. Rec_loss: 5327.91 .. NELBO: 5330.81
****************************************************************************************************
Validation loss decreased (10731.494141 --> 10661.625977).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 5.95 .. Rec_loss: 11893.62 .. NELBO: 11899.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.39 .. Rec_loss: 5304.45 .. NELBO: 5306.84
****************************************************************************************************
Validation loss decreased (10661.625977 --> 10613.685547).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 4.96 .. Rec_loss: 11813.51 .. NELBO: 11818.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.97 .. Rec_loss: 5302.39 .. NELBO: 5304.36
****************************************************************************************************
Validation loss decreased (10613.685547 --> 10608.723633).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 4.01 .. Rec_loss: 11777.88 .. NELBO: 11781.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.55 .. Rec_loss: 5320.93 .. NELBO: 5322.48
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 2.98 .. Rec_loss: 11781.98 .. NELBO: 11784.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.13 .. Rec_loss: 5343.55 .. NELBO: 5344.68
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 2.29 .. Rec_loss: 11795.0 .. NELBO: 11797.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.79 .. Rec_loss: 5354.39 .. NELBO: 5355.18
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 1.62 .. Rec_loss: 11793.42 .. NELBO: 11795.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.58 .. Rec_loss: 5352.41 .. NELBO: 5352.99
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 1.14 .. Rec_loss: 11778.34 .. NELBO: 11779.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.46 .. Rec_loss: 5345.06 .. NELBO: 5345.52
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  60
model: ETM(
  (t_drop): Dropout(p=0.10176303415395928, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=83, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=83, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=83, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1070.32 .. Rec_loss: 12264.89 .. NELBO: 13335.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 23.31 .. Rec_loss: 5446.19 .. NELBO: 5469.5
****************************************************************************************************
Validation loss decreased (inf --> 10938.995117).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 27.5 .. Rec_loss: 12256.46 .. NELBO: 12283.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.68 .. Rec_loss: 5438.7 .. NELBO: 5443.38
****************************************************************************************************
Validation loss decreased (10938.995117 --> 10886.753906).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 9.43 .. Rec_loss: 12231.11 .. NELBO: 12240.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.28 .. Rec_loss: 5423.01 .. NELBO: 5426.29
****************************************************************************************************
Validation loss decreased (10886.753906 --> 10852.582031).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 5.92 .. Rec_loss: 12181.33 .. NELBO: 12187.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.5 .. Rec_loss: 5397.68 .. NELBO: 5399.18
****************************************************************************************************
Validation loss decreased (10852.582031 --> 10798.358398).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 2.79 .. Rec_loss: 12103.48 .. NELBO: 12106.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.68 .. Rec_loss: 5364.54 .. NELBO: 5365.22
****************************************************************************************************
Validation loss decreased (10798.358398 --> 10730.439453).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 1.29 .. Rec_loss: 12004.48 .. NELBO: 12005.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.34 .. Rec_loss: 5330.2 .. NELBO: 5330.54
****************************************************************************************************
Validation loss decreased (10730.439453 --> 10661.065430).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.59 .. Rec_loss: 11900.82 .. NELBO: 11901.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 5305.8 .. NELBO: 5305.92
****************************************************************************************************
Validation loss decreased (10661.065430 --> 10611.852539).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.21 .. Rec_loss: 11818.61 .. NELBO: 11818.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5302.31 .. NELBO: 5302.37
****************************************************************************************************
Validation loss decreased (10611.852539 --> 10604.735352).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 11780.64 .. NELBO: 11780.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5319.85 .. NELBO: 5319.88
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11783.02 .. NELBO: 11783.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5342.67 .. NELBO: 5342.69
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.78 .. NELBO: 11795.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5354.46 .. NELBO: 5354.48
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11794.84 .. NELBO: 11794.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.28 .. NELBO: 5353.3
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.33 .. NELBO: 11781.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.14 .. NELBO: 5346.16
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.10176303415395928, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=83, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=83, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=83, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1324.91 .. Rec_loss: 12264.69 .. NELBO: 13589.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 24.79 .. Rec_loss: 5445.78 .. NELBO: 5470.57
****************************************************************************************************
Validation loss decreased (inf --> 10941.126953).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 30.89 .. Rec_loss: 12254.97 .. NELBO: 12285.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.28 .. Rec_loss: 5437.6 .. NELBO: 5444.88
****************************************************************************************************
Validation loss decreased (10941.126953 --> 10889.756836).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 14.91 .. Rec_loss: 12227.96 .. NELBO: 12242.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 5.0 .. Rec_loss: 5421.0 .. NELBO: 5426.0
****************************************************************************************************
Validation loss decreased (10889.756836 --> 10851.993164).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 8.9 .. Rec_loss: 12175.28 .. NELBO: 12184.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.15 .. Rec_loss: 5394.74 .. NELBO: 5396.89
****************************************************************************************************
Validation loss decreased (10851.993164 --> 10793.781250).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 3.76 .. Rec_loss: 12095.55 .. NELBO: 12099.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.0 .. Rec_loss: 5361.2 .. NELBO: 5362.2
****************************************************************************************************
Validation loss decreased (10793.781250 --> 10724.395508).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 1.85 .. Rec_loss: 11995.02 .. NELBO: 11996.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.49 .. Rec_loss: 5327.18 .. NELBO: 5327.67
****************************************************************************************************
Validation loss decreased (10724.395508 --> 10655.333984).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.86 .. Rec_loss: 11891.87 .. NELBO: 11892.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.26 .. Rec_loss: 5304.07 .. NELBO: 5304.33
****************************************************************************************************
Validation loss decreased (10655.333984 --> 10608.655273).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.49 .. Rec_loss: 11812.35 .. NELBO: 11812.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 5302.6 .. NELBO: 5302.74
****************************************************************************************************
Validation loss decreased (10608.655273 --> 10605.483398).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.28 .. Rec_loss: 11777.65 .. NELBO: 11777.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5321.72 .. NELBO: 5321.8
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.15 .. Rec_loss: 11782.55 .. NELBO: 11782.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5344.64 .. NELBO: 5344.68
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 11795.92 .. NELBO: 11795.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5355.42 .. NELBO: 5355.45
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11793.57 .. NELBO: 11793.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.31 .. NELBO: 5353.33
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11779.56 .. NELBO: 11779.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5345.81 .. NELBO: 5345.83
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.10176303415395928, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=83, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=83, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=83, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1057.37 .. Rec_loss: 12264.22 .. NELBO: 13321.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 21.37 .. Rec_loss: 5445.39 .. NELBO: 5466.76
****************************************************************************************************
Validation loss decreased (inf --> 10933.528320).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 25.62 .. Rec_loss: 12253.55 .. NELBO: 12279.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.89 .. Rec_loss: 5436.4 .. NELBO: 5440.29
****************************************************************************************************
Validation loss decreased (10933.528320 --> 10880.567383).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 7.37 .. Rec_loss: 12223.89 .. NELBO: 12231.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.64 .. Rec_loss: 5418.69 .. NELBO: 5421.33
****************************************************************************************************
Validation loss decreased (10880.567383 --> 10842.655273).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 5.0 .. Rec_loss: 12167.7 .. NELBO: 12172.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.49 .. Rec_loss: 5391.12 .. NELBO: 5392.61
****************************************************************************************************
Validation loss decreased (10842.655273 --> 10785.209961).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 2.81 .. Rec_loss: 12084.37 .. NELBO: 12087.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.81 .. Rec_loss: 5356.59 .. NELBO: 5357.4
****************************************************************************************************
Validation loss decreased (10785.209961 --> 10714.781250).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 1.52 .. Rec_loss: 11981.12 .. NELBO: 11982.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.47 .. Rec_loss: 5323.03 .. NELBO: 5323.5
****************************************************************************************************
Validation loss decreased (10714.781250 --> 10646.995117).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.85 .. Rec_loss: 11878.47 .. NELBO: 11879.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.2 .. Rec_loss: 5302.43 .. NELBO: 5302.63
****************************************************************************************************
Validation loss decreased (10646.995117 --> 10605.258789).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.35 .. Rec_loss: 11804.19 .. NELBO: 11804.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5304.42 .. NELBO: 5304.49
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 11776.57 .. NELBO: 11776.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5325.4 .. NELBO: 5325.43
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11785.1 .. NELBO: 11785.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5347.2 .. NELBO: 5347.23
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11796.68 .. NELBO: 11796.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5355.83 .. NELBO: 5355.85
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11792.01 .. NELBO: 11792.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.49 .. NELBO: 5352.51
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  61
model: ETM(
  (t_drop): Dropout(p=0.09842249873880367, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1105.69 .. Rec_loss: 12264.42 .. NELBO: 13370.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 25.04 .. Rec_loss: 5445.5 .. NELBO: 5470.54
****************************************************************************************************
Validation loss decreased (inf --> 10941.072266).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 32.93 .. Rec_loss: 12254.02 .. NELBO: 12286.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.96 .. Rec_loss: 5437.05 .. NELBO: 5446.01
****************************************************************************************************
Validation loss decreased (10941.072266 --> 10892.019531).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 19.93 .. Rec_loss: 12225.66 .. NELBO: 12245.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 9.08 .. Rec_loss: 5420.53 .. NELBO: 5429.61
****************************************************************************************************
Validation loss decreased (10892.019531 --> 10859.214844).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 17.79 .. Rec_loss: 12173.26 .. NELBO: 12191.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.09 .. Rec_loss: 5394.74 .. NELBO: 5400.83
****************************************************************************************************
Validation loss decreased (10859.214844 --> 10801.658203).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 11.56 .. Rec_loss: 12094.91 .. NELBO: 12106.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.71 .. Rec_loss: 5361.84 .. NELBO: 5365.55
****************************************************************************************************
Validation loss decreased (10801.658203 --> 10731.088867).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 7.19 .. Rec_loss: 11995.99 .. NELBO: 12003.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.39 .. Rec_loss: 5328.32 .. NELBO: 5330.71
****************************************************************************************************
Validation loss decreased (10731.088867 --> 10661.435547).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 4.73 .. Rec_loss: 11894.03 .. NELBO: 11898.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.6 .. Rec_loss: 5304.99 .. NELBO: 5306.59
****************************************************************************************************
Validation loss decreased (10661.435547 --> 10613.174805).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 3.12 .. Rec_loss: 11814.75 .. NELBO: 11817.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.02 .. Rec_loss: 5302.33 .. NELBO: 5303.35
****************************************************************************************************
Validation loss decreased (10613.174805 --> 10606.690430).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 1.96 .. Rec_loss: 11778.33 .. NELBO: 11780.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.57 .. Rec_loss: 5320.07 .. NELBO: 5320.64
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 1.05 .. Rec_loss: 11781.77 .. NELBO: 11782.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.26 .. Rec_loss: 5342.52 .. NELBO: 5342.78
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 11794.65 .. NELBO: 11795.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 5353.84 .. NELBO: 5353.94
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.16 .. Rec_loss: 11793.26 .. NELBO: 11793.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5352.4 .. NELBO: 5352.44
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11780.08 .. NELBO: 11780.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5345.24 .. NELBO: 5345.26
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.09842249873880367, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1517.27 .. Rec_loss: 12264.16 .. NELBO: 13781.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 27.83 .. Rec_loss: 5445.71 .. NELBO: 5473.54
****************************************************************************************************
Validation loss decreased (inf --> 10947.067383).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 35.4 .. Rec_loss: 12254.12 .. NELBO: 12289.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.98 .. Rec_loss: 5437.27 .. NELBO: 5446.25
****************************************************************************************************
Validation loss decreased (10947.067383 --> 10892.506836).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 19.92 .. Rec_loss: 12226.79 .. NELBO: 12246.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 9.43 .. Rec_loss: 5420.66 .. NELBO: 5430.09
****************************************************************************************************
Validation loss decreased (10892.506836 --> 10860.195312).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 18.99 .. Rec_loss: 12174.26 .. NELBO: 12193.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.17 .. Rec_loss: 5394.21 .. NELBO: 5401.38
****************************************************************************************************
Validation loss decreased (10860.195312 --> 10802.768555).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 14.33 .. Rec_loss: 12094.04 .. NELBO: 12108.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 5.19 .. Rec_loss: 5360.51 .. NELBO: 5365.7
****************************************************************************************************
Validation loss decreased (10802.768555 --> 10731.399414).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 10.63 .. Rec_loss: 11992.85 .. NELBO: 12003.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.86 .. Rec_loss: 5326.57 .. NELBO: 5330.43
****************************************************************************************************
Validation loss decreased (10731.399414 --> 10660.855469).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 8.03 .. Rec_loss: 11889.51 .. NELBO: 11897.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.9 .. Rec_loss: 5303.8 .. NELBO: 5306.7
****************************************************************************************************
Validation loss decreased (10660.855469 --> 10613.406250).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 5.76 .. Rec_loss: 11810.73 .. NELBO: 11816.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.0 .. Rec_loss: 5302.75 .. NELBO: 5304.75
****************************************************************************************************
Validation loss decreased (10613.406250 --> 10609.490234).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 4.02 .. Rec_loss: 11777.36 .. NELBO: 11781.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.29 .. Rec_loss: 5321.91 .. NELBO: 5323.2
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 2.54 .. Rec_loss: 11782.61 .. NELBO: 11785.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.81 .. Rec_loss: 5344.38 .. NELBO: 5345.19
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 1.62 .. Rec_loss: 11795.29 .. NELBO: 11796.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.51 .. Rec_loss: 5354.74 .. NELBO: 5355.25
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 1.0 .. Rec_loss: 11792.89 .. NELBO: 11793.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.35 .. Rec_loss: 5352.46 .. NELBO: 5352.81
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.69 .. Rec_loss: 11778.7 .. NELBO: 11779.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.27 .. Rec_loss: 5345.1 .. NELBO: 5345.37
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.09842249873880367, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 808.83 .. Rec_loss: 12264.13 .. NELBO: 13072.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 17.0 .. Rec_loss: 5445.13 .. NELBO: 5462.13
****************************************************************************************************
Validation loss decreased (inf --> 10924.267578).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 20.4 .. Rec_loss: 12252.71 .. NELBO: 12273.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.75 .. Rec_loss: 5435.84 .. NELBO: 5438.59
****************************************************************************************************
Validation loss decreased (10924.267578 --> 10877.190430).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 5.3 .. Rec_loss: 12222.05 .. NELBO: 12227.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.67 .. Rec_loss: 5417.41 .. NELBO: 5419.08
****************************************************************************************************
Validation loss decreased (10877.190430 --> 10838.156250).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 3.12 .. Rec_loss: 12163.85 .. NELBO: 12166.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.94 .. Rec_loss: 5389.01 .. NELBO: 5389.95
****************************************************************************************************
Validation loss decreased (10838.156250 --> 10779.885742).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 1.91 .. Rec_loss: 12077.92 .. NELBO: 12079.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.59 .. Rec_loss: 5354.04 .. NELBO: 5354.63
****************************************************************************************************
Validation loss decreased (10779.885742 --> 10709.264648).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 1.18 .. Rec_loss: 11974.13 .. NELBO: 11975.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.44 .. Rec_loss: 5320.88 .. NELBO: 5321.32
****************************************************************************************************
Validation loss decreased (10709.264648 --> 10642.648438).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.99 .. Rec_loss: 11872.09 .. NELBO: 11873.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 5301.74 .. NELBO: 5302.17
****************************************************************************************************
Validation loss decreased (10642.648438 --> 10604.321289).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.84 .. Rec_loss: 11800.59 .. NELBO: 11801.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.25 .. Rec_loss: 5305.64 .. NELBO: 5305.89
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.44 .. Rec_loss: 11777.16 .. NELBO: 11777.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 5327.16 .. NELBO: 5327.27
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.2 .. Rec_loss: 11787.12 .. NELBO: 11787.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5347.79 .. NELBO: 5347.84
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 11796.83 .. NELBO: 11796.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5355.04 .. NELBO: 5355.07
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11791.06 .. NELBO: 11791.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.13 .. NELBO: 5351.15
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  62
model: ETM(
  (t_drop): Dropout(p=0.05285700566325802, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=95, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=95, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=95, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1180.84 .. Rec_loss: 12264.43 .. NELBO: 13445.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 22.11 .. Rec_loss: 5445.75 .. NELBO: 5467.86
****************************************************************************************************
Validation loss decreased (inf --> 10935.731445).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 24.84 .. Rec_loss: 12254.12 .. NELBO: 12278.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.24 .. Rec_loss: 5436.7 .. NELBO: 5438.94
****************************************************************************************************
Validation loss decreased (10935.731445 --> 10877.891602).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 4.0 .. Rec_loss: 12224.65 .. NELBO: 12228.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.08 .. Rec_loss: 5419.14 .. NELBO: 5420.22
****************************************************************************************************
Validation loss decreased (10877.891602 --> 10840.443359).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 1.79 .. Rec_loss: 12169.49 .. NELBO: 12171.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 5391.58 .. NELBO: 5391.96
****************************************************************************************************
Validation loss decreased (10840.443359 --> 10783.930664).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.64 .. Rec_loss: 12085.67 .. NELBO: 12086.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 5356.96 .. NELBO: 5357.09
****************************************************************************************************
Validation loss decreased (10783.930664 --> 10714.181641).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 11982.35 .. NELBO: 11982.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5323.11 .. NELBO: 5323.17
****************************************************************************************************
Validation loss decreased (10714.181641 --> 10646.342773).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 11878.96 .. NELBO: 11879.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5302.22 .. NELBO: 5302.26
****************************************************************************************************
Validation loss decreased (10646.342773 --> 10604.520508).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 11804.21 .. NELBO: 11804.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5304.36 .. NELBO: 5304.4
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 11776.55 .. NELBO: 11776.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5325.76 .. NELBO: 5325.8
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 11786.17 .. NELBO: 11786.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5347.66 .. NELBO: 5347.69
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11797.42 .. NELBO: 11797.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5356.01 .. NELBO: 5356.04
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11792.41 .. NELBO: 11792.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5352.42 .. NELBO: 5352.45
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05285700566325802, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=95, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=95, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=95, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 955.5 .. Rec_loss: 12264.82 .. NELBO: 13220.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 20.37 .. Rec_loss: 5445.83 .. NELBO: 5466.2
****************************************************************************************************
Validation loss decreased (inf --> 10932.398438).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 23.07 .. Rec_loss: 12254.89 .. NELBO: 12277.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.35 .. Rec_loss: 5437.61 .. NELBO: 5439.96
****************************************************************************************************
Validation loss decreased (10932.398438 --> 10879.932617).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 4.39 .. Rec_loss: 12227.89 .. NELBO: 12232.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.26 .. Rec_loss: 5420.96 .. NELBO: 5422.22
****************************************************************************************************
Validation loss decreased (10879.932617 --> 10844.447266).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 2.16 .. Rec_loss: 12175.48 .. NELBO: 12177.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.55 .. Rec_loss: 5394.53 .. NELBO: 5395.08
****************************************************************************************************
Validation loss decreased (10844.447266 --> 10790.162109).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.97 .. Rec_loss: 12095.38 .. NELBO: 12096.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.25 .. Rec_loss: 5360.69 .. NELBO: 5360.94
****************************************************************************************************
Validation loss decreased (10790.162109 --> 10721.884766).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 11994.01 .. NELBO: 11994.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 5326.55 .. NELBO: 5326.68
****************************************************************************************************
Validation loss decreased (10721.884766 --> 10653.363281).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.25 .. Rec_loss: 11890.83 .. NELBO: 11891.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 5303.75 .. NELBO: 5303.88
****************************************************************************************************
Validation loss decreased (10653.363281 --> 10607.756836).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.26 .. Rec_loss: 11811.69 .. NELBO: 11811.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 5302.93 .. NELBO: 5303.05
****************************************************************************************************
Validation loss decreased (10607.756836 --> 10606.112305).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.21 .. Rec_loss: 11778.31 .. NELBO: 11778.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5322.33 .. NELBO: 5322.37
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 11784.25 .. NELBO: 11784.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5344.77 .. NELBO: 5344.8
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11796.41 .. NELBO: 11796.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5355.0 .. NELBO: 5355.03
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11793.37 .. NELBO: 11793.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5352.72 .. NELBO: 5352.75
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11779.1 .. NELBO: 11779.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5345.37 .. NELBO: 5345.4
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05285700566325802, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=95, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=95, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=95, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1608.44 .. Rec_loss: 12264.25 .. NELBO: 13872.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 27.85 .. Rec_loss: 5445.46 .. NELBO: 5473.31
****************************************************************************************************
Validation loss decreased (inf --> 10946.615234).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 35.73 .. Rec_loss: 12253.27 .. NELBO: 12289.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 10.99 .. Rec_loss: 5436.22 .. NELBO: 5447.21
****************************************************************************************************
Validation loss decreased (10946.615234 --> 10894.411133).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 23.41 .. Rec_loss: 12223.33 .. NELBO: 12246.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 10.52 .. Rec_loss: 5418.4 .. NELBO: 5428.92
****************************************************************************************************
Validation loss decreased (10894.411133 --> 10857.842773).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 20.21 .. Rec_loss: 12167.58 .. NELBO: 12187.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.38 .. Rec_loss: 5390.91 .. NELBO: 5398.29
****************************************************************************************************
Validation loss decreased (10857.842773 --> 10796.585938).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 14.04 .. Rec_loss: 12084.0 .. NELBO: 12098.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 5.14 .. Rec_loss: 5356.79 .. NELBO: 5361.93
****************************************************************************************************
Validation loss decreased (10796.585938 --> 10723.859375).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 10.07 .. Rec_loss: 11981.96 .. NELBO: 11992.03
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.79 .. Rec_loss: 5323.52 .. NELBO: 5327.31
****************************************************************************************************
Validation loss decreased (10723.859375 --> 10654.627930).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 7.58 .. Rec_loss: 11879.76 .. NELBO: 11887.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.03 .. Rec_loss: 5302.72 .. NELBO: 5305.75
****************************************************************************************************
Validation loss decreased (10654.627930 --> 10611.509766).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 6.11 .. Rec_loss: 11805.94 .. NELBO: 11812.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.52 .. Rec_loss: 5304.06 .. NELBO: 5306.58
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 5.05 .. Rec_loss: 11777.2 .. NELBO: 11782.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.0 .. Rec_loss: 5324.18 .. NELBO: 5326.18
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 3.93 .. Rec_loss: 11784.45 .. NELBO: 11788.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.5 .. Rec_loss: 5345.23 .. NELBO: 5346.73
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 3.02 .. Rec_loss: 11795.5 .. NELBO: 11798.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.11 .. Rec_loss: 5353.31 .. NELBO: 5354.42
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 2.23 .. Rec_loss: 11790.71 .. NELBO: 11792.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.87 .. Rec_loss: 5349.77 .. NELBO: 5350.64
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  63
model: ETM(
  (t_drop): Dropout(p=0.04996208298615453, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 85.34 .. Rec_loss: 12264.37 .. NELBO: 12349.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.45 .. Rec_loss: 5444.11 .. NELBO: 5451.56
****************************************************************************************************
Validation loss decreased (inf --> 10903.108398).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.05 .. Rec_loss: 12248.8 .. NELBO: 12256.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 5432.31 .. NELBO: 5432.76
****************************************************************************************************
Validation loss decreased (10903.108398 --> 10865.522461).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.66 .. Rec_loss: 12210.25 .. NELBO: 12210.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5409.9 .. NELBO: 5409.99
****************************************************************************************************
Validation loss decreased (10865.522461 --> 10819.964844).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 12141.4 .. NELBO: 12141.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5377.8 .. NELBO: 5377.83
****************************************************************************************************
Validation loss decreased (10819.964844 --> 10755.660156).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 12046.44 .. NELBO: 12046.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5341.6 .. NELBO: 5341.62
****************************************************************************************************
Validation loss decreased (10755.660156 --> 10683.249023).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11939.78 .. NELBO: 11939.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.68 .. NELBO: 5311.7
****************************************************************************************************
Validation loss decreased (10683.249023 --> 10623.412109).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11845.42 .. NELBO: 11845.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.28 .. NELBO: 5300.3
****************************************************************************************************
Validation loss decreased (10623.412109 --> 10600.609375).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11790.56 .. NELBO: 11790.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.0 .. NELBO: 5312.02
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.01 .. NELBO: 11781.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.08 .. NELBO: 5335.1
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.93 .. NELBO: 11792.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.92 .. NELBO: 5350.94
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.01 .. NELBO: 11796.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.14 .. NELBO: 5353.16
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11784.04 .. NELBO: 11784.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.38 .. NELBO: 5347.4
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.04996208298615453, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 85.63 .. Rec_loss: 12264.31 .. NELBO: 12349.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.98 .. Rec_loss: 5444.37 .. NELBO: 5452.35
****************************************************************************************************
Validation loss decreased (inf --> 10904.696289).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.57 .. Rec_loss: 12249.93 .. NELBO: 12258.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 5433.35 .. NELBO: 5433.74
****************************************************************************************************
Validation loss decreased (10904.696289 --> 10867.489258).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.56 .. Rec_loss: 12213.31 .. NELBO: 12213.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5411.76 .. NELBO: 5411.83
****************************************************************************************************
Validation loss decreased (10867.489258 --> 10823.659180).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12146.96 .. NELBO: 12147.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5380.34 .. NELBO: 5380.37
****************************************************************************************************
Validation loss decreased (10823.659180 --> 10760.729492).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12053.49 .. NELBO: 12053.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5344.2 .. NELBO: 5344.22
****************************************************************************************************
Validation loss decreased (10760.729492 --> 10688.431641).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11945.83 .. NELBO: 11945.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.43 .. NELBO: 5313.45
****************************************************************************************************
Validation loss decreased (10688.431641 --> 10626.908203).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11850.35 .. NELBO: 11850.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.43 .. NELBO: 5300.45
****************************************************************************************************
Validation loss decreased (10626.908203 --> 10600.905273).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11791.99 .. NELBO: 11792.03
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.77 .. NELBO: 5310.79
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.1 .. NELBO: 11780.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5333.89 .. NELBO: 5333.91
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.22 .. NELBO: 11792.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.84 .. NELBO: 5350.86
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.68 .. NELBO: 11796.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.94 .. NELBO: 5353.96
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11786.44 .. NELBO: 11786.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5348.32 .. NELBO: 5348.34
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.04996208298615453, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 83.71 .. Rec_loss: 12264.09 .. NELBO: 12347.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.44 .. Rec_loss: 5444.07 .. NELBO: 5451.51
****************************************************************************************************
Validation loss decreased (inf --> 10903.015625).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.1 .. Rec_loss: 12248.23 .. NELBO: 12256.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 5431.58 .. NELBO: 5432.01
****************************************************************************************************
Validation loss decreased (10903.015625 --> 10864.026367).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.61 .. Rec_loss: 12207.13 .. NELBO: 12207.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5408.15 .. NELBO: 5408.22
****************************************************************************************************
Validation loss decreased (10864.026367 --> 10816.435547).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12135.5 .. NELBO: 12135.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5375.15 .. NELBO: 5375.17
****************************************************************************************************
Validation loss decreased (10816.435547 --> 10750.348633).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12037.75 .. NELBO: 12037.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5338.78 .. NELBO: 5338.8
****************************************************************************************************
Validation loss decreased (10750.348633 --> 10677.601562).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11929.83 .. NELBO: 11929.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5309.93 .. NELBO: 5309.95
****************************************************************************************************
Validation loss decreased (10677.601562 --> 10619.891602).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11837.59 .. NELBO: 11837.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.65 .. NELBO: 5300.67
****************************************************************************************************
Validation loss decreased (10619.891602 --> 10601.332031).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11787.37 .. NELBO: 11787.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5314.24 .. NELBO: 5314.26
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.64 .. NELBO: 11781.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.49 .. NELBO: 5337.51
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11794.37 .. NELBO: 11794.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.12 .. NELBO: 5352.14
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.59 .. NELBO: 11795.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.14 .. NELBO: 5353.16
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11783.86 .. NELBO: 11783.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.77 .. NELBO: 5346.79
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  64
model: ETM(
  (t_drop): Dropout(p=0.10309170248147452, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=70, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=70, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=70, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1196.47 .. Rec_loss: 12264.89 .. NELBO: 13461.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 25.57 .. Rec_loss: 5445.63 .. NELBO: 5471.2
****************************************************************************************************
Validation loss decreased (inf --> 10942.412109).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 34.08 .. Rec_loss: 12254.61 .. NELBO: 12288.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 11.38 .. Rec_loss: 5437.15 .. NELBO: 5448.53
****************************************************************************************************
Validation loss decreased (10942.412109 --> 10897.068359).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 24.01 .. Rec_loss: 12226.66 .. NELBO: 12250.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 9.68 .. Rec_loss: 5420.27 .. NELBO: 5429.95
****************************************************************************************************
Validation loss decreased (10897.068359 --> 10859.896484).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 18.83 .. Rec_loss: 12173.6 .. NELBO: 12192.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.48 .. Rec_loss: 5393.81 .. NELBO: 5400.29
****************************************************************************************************
Validation loss decreased (10859.896484 --> 10800.572266).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 12.64 .. Rec_loss: 12093.14 .. NELBO: 12105.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.17 .. Rec_loss: 5360.15 .. NELBO: 5364.32
****************************************************************************************************
Validation loss decreased (10800.572266 --> 10728.644531).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 8.36 .. Rec_loss: 11992.36 .. NELBO: 12000.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.92 .. Rec_loss: 5326.29 .. NELBO: 5329.21
****************************************************************************************************
Validation loss decreased (10728.644531 --> 10658.424805).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 6.13 .. Rec_loss: 11888.86 .. NELBO: 11894.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.31 .. Rec_loss: 5303.65 .. NELBO: 5305.96
****************************************************************************************************
Validation loss decreased (10658.424805 --> 10611.921875).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 4.82 .. Rec_loss: 11810.86 .. NELBO: 11815.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.85 .. Rec_loss: 5302.57 .. NELBO: 5304.42
****************************************************************************************************
Validation loss decreased (10611.921875 --> 10608.825195).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 3.92 .. Rec_loss: 11778.22 .. NELBO: 11782.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.33 .. Rec_loss: 5321.36 .. NELBO: 5322.69
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 2.64 .. Rec_loss: 11783.06 .. NELBO: 11785.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.85 .. Rec_loss: 5343.14 .. NELBO: 5343.99
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 1.66 .. Rec_loss: 11794.36 .. NELBO: 11796.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.53 .. Rec_loss: 5353.05 .. NELBO: 5353.58
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 1.07 .. Rec_loss: 11791.76 .. NELBO: 11792.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.34 .. Rec_loss: 5350.79 .. NELBO: 5351.13
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.69 .. Rec_loss: 11777.26 .. NELBO: 11777.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.24 .. Rec_loss: 5343.66 .. NELBO: 5343.9
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.10309170248147452, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=70, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=70, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=70, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1073.87 .. Rec_loss: 12264.27 .. NELBO: 13338.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 28.15 .. Rec_loss: 5445.81 .. NELBO: 5473.96
****************************************************************************************************
Validation loss decreased (inf --> 10947.929688).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 41.38 .. Rec_loss: 12255.29 .. NELBO: 12296.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 19.92 .. Rec_loss: 5437.86 .. NELBO: 5457.78
****************************************************************************************************
Validation loss decreased (10947.929688 --> 10915.563477).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 41.9 .. Rec_loss: 12229.04 .. NELBO: 12270.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 16.5 .. Rec_loss: 5421.89 .. NELBO: 5438.39
****************************************************************************************************
Validation loss decreased (10915.563477 --> 10876.775391).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 32.28 .. Rec_loss: 12178.78 .. NELBO: 12211.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 11.16 .. Rec_loss: 5397.14 .. NELBO: 5408.3
****************************************************************************************************
Validation loss decreased (10876.775391 --> 10816.593750).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 22.22 .. Rec_loss: 12102.95 .. NELBO: 12125.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.95 .. Rec_loss: 5365.17 .. NELBO: 5373.12
****************************************************************************************************
Validation loss decreased (10816.593750 --> 10746.239258).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 16.69 .. Rec_loss: 12006.07 .. NELBO: 12022.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.3 .. Rec_loss: 5331.49 .. NELBO: 5337.79
****************************************************************************************************
Validation loss decreased (10746.239258 --> 10675.583984).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 13.36 .. Rec_loss: 11904.62 .. NELBO: 11917.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 5.08 .. Rec_loss: 5306.54 .. NELBO: 5311.62
****************************************************************************************************
Validation loss decreased (10675.583984 --> 10623.251953).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 10.61 .. Rec_loss: 11821.51 .. NELBO: 11832.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.69 .. Rec_loss: 5301.38 .. NELBO: 5305.07
****************************************************************************************************
Validation loss decreased (10623.251953 --> 10610.130859).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 7.45 .. Rec_loss: 11779.97 .. NELBO: 11787.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.37 .. Rec_loss: 5317.01 .. NELBO: 5319.38
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 4.74 .. Rec_loss: 11779.11 .. NELBO: 11783.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.38 .. Rec_loss: 5338.97 .. NELBO: 5340.35
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 2.79 .. Rec_loss: 11791.67 .. NELBO: 11794.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.81 .. Rec_loss: 5350.91 .. NELBO: 5351.72
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 2.04 .. Rec_loss: 11791.51 .. NELBO: 11793.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.81 .. Rec_loss: 5349.95 .. NELBO: 5350.76
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 1.99 .. Rec_loss: 11778.32 .. NELBO: 11780.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.79 .. Rec_loss: 5343.3 .. NELBO: 5344.09
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.10309170248147452, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=70, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=70, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=70, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1024.28 .. Rec_loss: 12264.52 .. NELBO: 13288.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 21.76 .. Rec_loss: 5445.79 .. NELBO: 5467.55
****************************************************************************************************
Validation loss decreased (inf --> 10935.095703).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 27.46 .. Rec_loss: 12254.37 .. NELBO: 12281.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.31 .. Rec_loss: 5436.73 .. NELBO: 5444.04
****************************************************************************************************
Validation loss decreased (10935.095703 --> 10888.074219).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 16.18 .. Rec_loss: 12225.92 .. NELBO: 12242.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.87 .. Rec_loss: 5419.68 .. NELBO: 5427.55
****************************************************************************************************
Validation loss decreased (10888.074219 --> 10855.101562).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 15.8 .. Rec_loss: 12172.15 .. NELBO: 12187.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 5.49 .. Rec_loss: 5392.86 .. NELBO: 5398.35
****************************************************************************************************
Validation loss decreased (10855.101562 --> 10796.707031).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 10.48 .. Rec_loss: 12090.77 .. NELBO: 12101.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.27 .. Rec_loss: 5358.92 .. NELBO: 5362.19
****************************************************************************************************
Validation loss decreased (10796.707031 --> 10724.388672).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 6.06 .. Rec_loss: 11989.57 .. NELBO: 11995.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.85 .. Rec_loss: 5325.16 .. NELBO: 5327.01
****************************************************************************************************
Validation loss decreased (10724.388672 --> 10654.009766).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 3.54 .. Rec_loss: 11886.76 .. NELBO: 11890.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.0 .. Rec_loss: 5303.1 .. NELBO: 5304.1
****************************************************************************************************
Validation loss decreased (10654.009766 --> 10608.202148).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 1.87 .. Rec_loss: 11808.97 .. NELBO: 11810.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.52 .. Rec_loss: 5303.09 .. NELBO: 5303.61
****************************************************************************************************
Validation loss decreased (10608.202148 --> 10607.220703).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.95 .. Rec_loss: 11777.72 .. NELBO: 11778.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.25 .. Rec_loss: 5322.97 .. NELBO: 5323.22
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 11784.43 .. NELBO: 11784.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 5345.14 .. NELBO: 5345.24
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.18 .. Rec_loss: 11795.88 .. NELBO: 11796.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5354.67 .. NELBO: 5354.71
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 11792.39 .. NELBO: 11792.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.94 .. NELBO: 5351.96
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11778.04 .. NELBO: 11778.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5344.55 .. NELBO: 5344.57
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  65
model: ETM(
  (t_drop): Dropout(p=0.17702025523779424, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=85, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=85, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=85, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 722.34 .. Rec_loss: 12264.62 .. NELBO: 12986.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 16.28 .. Rec_loss: 5445.59 .. NELBO: 5461.87
****************************************************************************************************
Validation loss decreased (inf --> 10923.750000).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 18.3 .. Rec_loss: 12254.81 .. NELBO: 12273.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.78 .. Rec_loss: 5437.25 .. NELBO: 5438.03
****************************************************************************************************
Validation loss decreased (10923.750000 --> 10876.050781).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 1.52 .. Rec_loss: 12225.99 .. NELBO: 12227.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.36 .. Rec_loss: 5419.53 .. NELBO: 5419.89
****************************************************************************************************
Validation loss decreased (10876.050781 --> 10839.767578).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.65 .. Rec_loss: 12170.38 .. NELBO: 12171.03
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 5391.73 .. NELBO: 5391.84
****************************************************************************************************
Validation loss decreased (10839.767578 --> 10783.677734).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.19 .. Rec_loss: 12086.5 .. NELBO: 12086.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5356.93 .. NELBO: 5356.98
****************************************************************************************************
Validation loss decreased (10783.677734 --> 10713.956055).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 11982.86 .. NELBO: 11982.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5323.1 .. NELBO: 5323.17
****************************************************************************************************
Validation loss decreased (10713.956055 --> 10646.329102).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.18 .. Rec_loss: 11879.56 .. NELBO: 11879.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 5302.34 .. NELBO: 5302.56
****************************************************************************************************
Validation loss decreased (10646.329102 --> 10605.123047).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 11805.4 .. NELBO: 11805.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 5304.49 .. NELBO: 5304.59
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.16 .. Rec_loss: 11778.04 .. NELBO: 11778.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5325.35 .. NELBO: 5325.38
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11786.59 .. NELBO: 11786.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5346.83 .. NELBO: 5346.86
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11797.02 .. NELBO: 11797.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5355.24 .. NELBO: 5355.26
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11791.43 .. NELBO: 11791.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.96 .. NELBO: 5351.98
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.17702025523779424, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=85, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=85, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=85, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 868.63 .. Rec_loss: 12264.47 .. NELBO: 13133.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 20.21 .. Rec_loss: 5445.79 .. NELBO: 5466.0
****************************************************************************************************
Validation loss decreased (inf --> 10932.003906).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 24.35 .. Rec_loss: 12254.57 .. NELBO: 12278.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.86 .. Rec_loss: 5437.15 .. NELBO: 5440.01
****************************************************************************************************
Validation loss decreased (10932.003906 --> 10880.024414).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 6.23 .. Rec_loss: 12226.43 .. NELBO: 12232.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.04 .. Rec_loss: 5420.06 .. NELBO: 5422.1
****************************************************************************************************
Validation loss decreased (10880.024414 --> 10844.185547).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 4.15 .. Rec_loss: 12172.43 .. NELBO: 12176.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.18 .. Rec_loss: 5393.14 .. NELBO: 5394.32
****************************************************************************************************
Validation loss decreased (10844.185547 --> 10788.650391).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 2.72 .. Rec_loss: 12090.7 .. NELBO: 12093.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.75 .. Rec_loss: 5359.07 .. NELBO: 5359.82
****************************************************************************************************
Validation loss decreased (10788.650391 --> 10719.639648).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 1.58 .. Rec_loss: 11989.66 .. NELBO: 11991.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 5325.21 .. NELBO: 5325.66
****************************************************************************************************
Validation loss decreased (10719.639648 --> 10651.328125).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.97 .. Rec_loss: 11885.74 .. NELBO: 11886.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.27 .. Rec_loss: 5303.16 .. NELBO: 5303.43
****************************************************************************************************
Validation loss decreased (10651.328125 --> 10606.871094).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.61 .. Rec_loss: 11808.74 .. NELBO: 11809.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.17 .. Rec_loss: 5303.16 .. NELBO: 5303.33
****************************************************************************************************
Validation loss decreased (10606.871094 --> 10606.671875).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.35 .. Rec_loss: 11777.25 .. NELBO: 11777.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5323.02 .. NELBO: 5323.1
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.16 .. Rec_loss: 11783.61 .. NELBO: 11783.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5345.44 .. NELBO: 5345.48
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 11796.4 .. NELBO: 11796.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5355.42 .. NELBO: 5355.44
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11793.43 .. NELBO: 11793.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.94 .. NELBO: 5352.96
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11778.49 .. NELBO: 11778.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5345.55 .. NELBO: 5345.57
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.17702025523779424, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=85, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=85, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=85, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 971.55 .. Rec_loss: 12265.29 .. NELBO: 13236.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 17.15 .. Rec_loss: 5445.81 .. NELBO: 5462.96
****************************************************************************************************
Validation loss decreased (inf --> 10925.914062).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 19.52 .. Rec_loss: 12255.14 .. NELBO: 12274.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.65 .. Rec_loss: 5437.75 .. NELBO: 5439.4
****************************************************************************************************
Validation loss decreased (10925.914062 --> 10878.792969).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 3.4 .. Rec_loss: 12228.17 .. NELBO: 12231.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.83 .. Rec_loss: 5421.3 .. NELBO: 5422.13
****************************************************************************************************
Validation loss decreased (10878.792969 --> 10844.259766).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 1.37 .. Rec_loss: 12176.08 .. NELBO: 12177.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.2 .. Rec_loss: 5395.0 .. NELBO: 5395.2
****************************************************************************************************
Validation loss decreased (10844.259766 --> 10790.408203).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.33 .. Rec_loss: 12096.1 .. NELBO: 12096.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5361.2 .. NELBO: 5361.26
****************************************************************************************************
Validation loss decreased (10790.408203 --> 10722.521484).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 11995.07 .. NELBO: 11995.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5326.93 .. NELBO: 5326.96
****************************************************************************************************
Validation loss decreased (10722.521484 --> 10653.920898).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 11890.93 .. NELBO: 11891.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5303.79 .. NELBO: 5303.82
****************************************************************************************************
Validation loss decreased (10653.920898 --> 10607.648438).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11811.55 .. NELBO: 11811.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5302.68 .. NELBO: 5302.71
****************************************************************************************************
Validation loss decreased (10607.648438 --> 10605.423828).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11777.23 .. NELBO: 11777.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5322.32 .. NELBO: 5322.35
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11783.34 .. NELBO: 11783.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5345.35 .. NELBO: 5345.38
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11796.89 .. NELBO: 11796.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5355.85 .. NELBO: 5355.88
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11793.45 .. NELBO: 11793.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5353.56 .. NELBO: 5353.59
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11779.13 .. NELBO: 11779.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5346.1 .. NELBO: 5346.13
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  66
model: ETM(
  (t_drop): Dropout(p=0.10634737923657511, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.33 .. Rec_loss: 12263.73 .. NELBO: 12264.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.79 .. Rec_loss: 5442.85 .. NELBO: 5443.64
****************************************************************************************************
Validation loss decreased (inf --> 10887.287109).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.47 .. Rec_loss: 12242.72 .. NELBO: 12244.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5426.56 .. NELBO: 5426.58
****************************************************************************************************
Validation loss decreased (10887.287109 --> 10853.156250).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 12190.58 .. NELBO: 12190.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.3 .. Rec_loss: 5398.43 .. NELBO: 5398.73
****************************************************************************************************
Validation loss decreased (10853.156250 --> 10797.457031).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 12106.49 .. NELBO: 12106.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.23 .. Rec_loss: 5362.28 .. NELBO: 5362.51
****************************************************************************************************
Validation loss decreased (10797.457031 --> 10725.021484).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.8 .. Rec_loss: 12000.1 .. NELBO: 12000.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.77 .. Rec_loss: 5326.2 .. NELBO: 5327.97
****************************************************************************************************
Validation loss decreased (10725.021484 --> 10655.937500).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 2.44 .. Rec_loss: 11893.22 .. NELBO: 11895.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.15 .. Rec_loss: 5303.9 .. NELBO: 5304.05
****************************************************************************************************
Validation loss decreased (10655.937500 --> 10608.092773).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.27 .. Rec_loss: 11816.42 .. NELBO: 11816.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 5303.24 .. NELBO: 5303.34
****************************************************************************************************
Validation loss decreased (10608.092773 --> 10606.673828).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.28 .. Rec_loss: 11783.11 .. NELBO: 11783.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.16 .. Rec_loss: 5321.55 .. NELBO: 5321.71
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 11786.02 .. NELBO: 11786.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.81 .. Rec_loss: 5341.46 .. NELBO: 5342.27
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 1.24 .. Rec_loss: 11793.17 .. NELBO: 11794.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.06 .. Rec_loss: 5349.56 .. NELBO: 5350.62
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 3.09 .. Rec_loss: 11785.79 .. NELBO: 11788.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.33 .. Rec_loss: 5344.46 .. NELBO: 5347.79
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 5.49 .. Rec_loss: 11768.68 .. NELBO: 11774.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.82 .. Rec_loss: 5338.52 .. NELBO: 5341.34
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.10634737923657511, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.27 .. Rec_loss: 12264.01 .. NELBO: 12264.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.43 .. Rec_loss: 5443.47 .. NELBO: 5444.9
****************************************************************************************************
Validation loss decreased (inf --> 10889.792969).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.66 .. Rec_loss: 12245.4 .. NELBO: 12247.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5428.66 .. NELBO: 5428.69
****************************************************************************************************
Validation loss decreased (10889.792969 --> 10857.387695).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.6 .. Rec_loss: 12197.7 .. NELBO: 12198.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.29 .. Rec_loss: 5402.22 .. NELBO: 5402.51
****************************************************************************************************
Validation loss decreased (10857.387695 --> 10805.029297).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.53 .. Rec_loss: 12117.95 .. NELBO: 12118.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.98 .. Rec_loss: 5366.92 .. NELBO: 5367.9
****************************************************************************************************
Validation loss decreased (10805.029297 --> 10735.797852).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 3.2 .. Rec_loss: 12013.83 .. NELBO: 12017.03
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.82 .. Rec_loss: 5330.88 .. NELBO: 5331.7
****************************************************************************************************
Validation loss decreased (10735.797852 --> 10663.411133).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 1.02 .. Rec_loss: 11908.95 .. NELBO: 11909.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.25 .. Rec_loss: 5305.72 .. NELBO: 5305.97
****************************************************************************************************
Validation loss decreased (10663.411133 --> 10611.943359).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 1.05 .. Rec_loss: 11824.58 .. NELBO: 11825.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.25 .. Rec_loss: 5301.67 .. NELBO: 5301.92
****************************************************************************************************
Validation loss decreased (10611.943359 --> 10603.837891).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.34 .. Rec_loss: 11784.65 .. NELBO: 11784.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.44 .. Rec_loss: 5318.08 .. NELBO: 5318.52
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.68 .. Rec_loss: 11784.27 .. NELBO: 11784.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 5339.72 .. NELBO: 5339.94
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 11793.75 .. NELBO: 11794.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.62 .. Rec_loss: 5349.99 .. NELBO: 5350.61
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 1.24 .. Rec_loss: 11789.54 .. NELBO: 11790.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.81 .. Rec_loss: 5347.25 .. NELBO: 5349.06
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 3.18 .. Rec_loss: 11774.17 .. NELBO: 11777.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.27 .. Rec_loss: 5341.41 .. NELBO: 5342.68
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.10634737923657511, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.28 .. Rec_loss: 12263.6 .. NELBO: 12263.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.29 .. Rec_loss: 5442.63 .. NELBO: 5443.92
****************************************************************************************************
Validation loss decreased (inf --> 10887.826172).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.65 .. Rec_loss: 12241.74 .. NELBO: 12243.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5426.04 .. NELBO: 5426.07
****************************************************************************************************
Validation loss decreased (10887.826172 --> 10852.122070).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.59 .. Rec_loss: 12188.7 .. NELBO: 12189.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 5397.67 .. NELBO: 5398.05
****************************************************************************************************
Validation loss decreased (10852.122070 --> 10796.100586).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.67 .. Rec_loss: 12103.7 .. NELBO: 12104.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.91 .. Rec_loss: 5361.25 .. NELBO: 5362.16
****************************************************************************************************
Validation loss decreased (10796.100586 --> 10724.333984).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 2.29 .. Rec_loss: 11996.39 .. NELBO: 11998.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.74 .. Rec_loss: 5325.82 .. NELBO: 5326.56
****************************************************************************************************
Validation loss decreased (10724.333984 --> 10653.108398).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.91 .. Rec_loss: 11892.49 .. NELBO: 11893.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.4 .. Rec_loss: 5303.46 .. NELBO: 5303.86
****************************************************************************************************
Validation loss decreased (10653.108398 --> 10607.718750).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 1.09 .. Rec_loss: 11813.95 .. NELBO: 11815.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.24 .. Rec_loss: 5303.24 .. NELBO: 5303.48
****************************************************************************************************
Validation loss decreased (10607.718750 --> 10606.948242).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.58 .. Rec_loss: 11782.13 .. NELBO: 11782.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5322.34 .. NELBO: 5322.37
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 11786.21 .. NELBO: 11786.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.73 .. Rec_loss: 5342.05 .. NELBO: 5342.78
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 1.37 .. Rec_loss: 11793.27 .. NELBO: 11794.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.7 .. Rec_loss: 5350.16 .. NELBO: 5350.86
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 1.36 .. Rec_loss: 11787.69 .. NELBO: 11789.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.29 .. Rec_loss: 5346.54 .. NELBO: 5347.83
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 3.38 .. Rec_loss: 11772.12 .. NELBO: 11775.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.82 .. Rec_loss: 5339.2 .. NELBO: 5341.02
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  67
model: ETM(
  (t_drop): Dropout(p=0.06877329752709088, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1013.01 .. Rec_loss: 12264.83 .. NELBO: 13277.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 30.18 .. Rec_loss: 5446.29 .. NELBO: 5476.47
****************************************************************************************************
Validation loss decreased (inf --> 10952.946289).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 41.7 .. Rec_loss: 12256.04 .. NELBO: 12297.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 15.4 .. Rec_loss: 5438.08 .. NELBO: 5453.48
****************************************************************************************************
Validation loss decreased (10952.946289 --> 10906.957031).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 33.41 .. Rec_loss: 12229.34 .. NELBO: 12262.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 14.71 .. Rec_loss: 5422.13 .. NELBO: 5436.84
****************************************************************************************************
Validation loss decreased (10906.957031 --> 10873.680664).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 27.13 .. Rec_loss: 12178.86 .. NELBO: 12205.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.15 .. Rec_loss: 5396.89 .. NELBO: 5405.04
****************************************************************************************************
Validation loss decreased (10873.680664 --> 10810.073242).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 14.9 .. Rec_loss: 12101.99 .. NELBO: 12116.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.5 .. Rec_loss: 5364.26 .. NELBO: 5368.76
****************************************************************************************************
Validation loss decreased (10810.073242 --> 10737.514648).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 8.6 .. Rec_loss: 12004.0 .. NELBO: 12012.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.62 .. Rec_loss: 5330.3 .. NELBO: 5332.92
****************************************************************************************************
Validation loss decreased (10737.514648 --> 10665.850586).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 5.03 .. Rec_loss: 11901.21 .. NELBO: 11906.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.62 .. Rec_loss: 5305.7 .. NELBO: 5307.32
****************************************************************************************************
Validation loss decreased (10665.850586 --> 10614.622070).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 3.13 .. Rec_loss: 11818.71 .. NELBO: 11821.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.0 .. Rec_loss: 5301.56 .. NELBO: 5302.56
****************************************************************************************************
Validation loss decreased (10614.622070 --> 10605.125000).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 1.9 .. Rec_loss: 11779.4 .. NELBO: 11781.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.56 .. Rec_loss: 5318.67 .. NELBO: 5319.23
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 1.01 .. Rec_loss: 11780.87 .. NELBO: 11781.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.27 .. Rec_loss: 5341.67 .. NELBO: 5341.94
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.48 .. Rec_loss: 11794.18 .. NELBO: 11794.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 5353.83 .. NELBO: 5353.95
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.2 .. Rec_loss: 11794.29 .. NELBO: 11794.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5352.84 .. NELBO: 5352.89
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 11780.9 .. NELBO: 11780.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5345.72 .. NELBO: 5345.74
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06877329752709088, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1216.94 .. Rec_loss: 12263.66 .. NELBO: 13480.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 24.71 .. Rec_loss: 5445.54 .. NELBO: 5470.25
****************************************************************************************************
Validation loss decreased (inf --> 10940.511719).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 28.79 .. Rec_loss: 12253.54 .. NELBO: 12282.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.96 .. Rec_loss: 5436.49 .. NELBO: 5440.45
****************************************************************************************************
Validation loss decreased (10940.511719 --> 10880.898438).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 7.88 .. Rec_loss: 12224.26 .. NELBO: 12232.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.72 .. Rec_loss: 5419.05 .. NELBO: 5421.77
****************************************************************************************************
Validation loss decreased (10880.898438 --> 10843.531250).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 4.62 .. Rec_loss: 12169.03 .. NELBO: 12173.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.05 .. Rec_loss: 5391.9 .. NELBO: 5392.95
****************************************************************************************************
Validation loss decreased (10843.531250 --> 10785.895508).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 1.74 .. Rec_loss: 12086.45 .. NELBO: 12088.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.31 .. Rec_loss: 5357.78 .. NELBO: 5358.09
****************************************************************************************************
Validation loss decreased (10785.895508 --> 10716.184570).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.49 .. Rec_loss: 11984.03 .. NELBO: 11984.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 5324.23 .. NELBO: 5324.33
****************************************************************************************************
Validation loss decreased (10716.184570 --> 10648.654297).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.18 .. Rec_loss: 11881.37 .. NELBO: 11881.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5303.01 .. NELBO: 5303.08
****************************************************************************************************
Validation loss decreased (10648.654297 --> 10606.173828).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 11805.72 .. NELBO: 11805.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5304.2 .. NELBO: 5304.25
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 11776.13 .. NELBO: 11776.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5324.8 .. NELBO: 5324.83
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11784.6 .. NELBO: 11784.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5346.94 .. NELBO: 5346.97
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11796.71 .. NELBO: 11796.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5356.09 .. NELBO: 5356.12
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11793.11 .. NELBO: 11793.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5353.02 .. NELBO: 5353.05
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06877329752709088, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1514.2 .. Rec_loss: 12264.3 .. NELBO: 13778.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 24.98 .. Rec_loss: 5445.94 .. NELBO: 5470.92
****************************************************************************************************
Validation loss decreased (inf --> 10941.836914).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 30.48 .. Rec_loss: 12254.85 .. NELBO: 12285.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.54 .. Rec_loss: 5437.39 .. NELBO: 5443.93
****************************************************************************************************
Validation loss decreased (10941.836914 --> 10887.856445).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 12.95 .. Rec_loss: 12227.24 .. NELBO: 12240.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.68 .. Rec_loss: 5420.85 .. NELBO: 5425.53
****************************************************************************************************
Validation loss decreased (10887.856445 --> 10851.055664).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 8.6 .. Rec_loss: 12174.69 .. NELBO: 12183.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.66 .. Rec_loss: 5394.9 .. NELBO: 5397.56
****************************************************************************************************
Validation loss decreased (10851.055664 --> 10795.121094).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 5.09 .. Rec_loss: 12095.64 .. NELBO: 12100.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.78 .. Rec_loss: 5361.54 .. NELBO: 5363.32
****************************************************************************************************
Validation loss decreased (10795.121094 --> 10726.641602).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 3.63 .. Rec_loss: 11995.31 .. NELBO: 11998.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.42 .. Rec_loss: 5327.59 .. NELBO: 5329.01
****************************************************************************************************
Validation loss decreased (10726.641602 --> 10658.011719).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 2.9 .. Rec_loss: 11892.03 .. NELBO: 11894.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.24 .. Rec_loss: 5304.4 .. NELBO: 5305.64
****************************************************************************************************
Validation loss decreased (10658.011719 --> 10611.274414).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 2.58 .. Rec_loss: 11812.31 .. NELBO: 11814.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.09 .. Rec_loss: 5302.7 .. NELBO: 5303.79
****************************************************************************************************
Validation loss decreased (10611.274414 --> 10607.582031).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 2.21 .. Rec_loss: 11777.18 .. NELBO: 11779.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.85 .. Rec_loss: 5321.41 .. NELBO: 5322.26
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 1.75 .. Rec_loss: 11782.59 .. NELBO: 11784.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.64 .. Rec_loss: 5343.84 .. NELBO: 5344.48
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 1.2 .. Rec_loss: 11794.98 .. NELBO: 11796.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.5 .. Rec_loss: 5354.45 .. NELBO: 5354.95
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.98 .. Rec_loss: 11793.17 .. NELBO: 11794.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 5352.43 .. NELBO: 5352.81
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.73 .. Rec_loss: 11779.22 .. NELBO: 11779.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.29 .. Rec_loss: 5345.12 .. NELBO: 5345.41
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  68
model: ETM(
  (t_drop): Dropout(p=0.07757306648118548, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=55, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=55, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=55, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1273.07 .. Rec_loss: 12263.79 .. NELBO: 13536.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 26.59 .. Rec_loss: 5445.32 .. NELBO: 5471.91
****************************************************************************************************
Validation loss decreased (inf --> 10943.816406).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 34.16 .. Rec_loss: 12252.12 .. NELBO: 12286.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 12.59 .. Rec_loss: 5435.1 .. NELBO: 5447.69
****************************************************************************************************
Validation loss decreased (10943.816406 --> 10895.361328).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 27.82 .. Rec_loss: 12220.03 .. NELBO: 12247.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 11.73 .. Rec_loss: 5416.51 .. NELBO: 5428.24
****************************************************************************************************
Validation loss decreased (10895.361328 --> 10856.479492).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 21.55 .. Rec_loss: 12162.38 .. NELBO: 12183.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.14 .. Rec_loss: 5388.84 .. NELBO: 5395.98
****************************************************************************************************
Validation loss decreased (10856.479492 --> 10791.957031).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 13.53 .. Rec_loss: 12078.34 .. NELBO: 12091.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.94 .. Rec_loss: 5354.57 .. NELBO: 5359.51
****************************************************************************************************
Validation loss decreased (10791.957031 --> 10719.020508).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 9.93 .. Rec_loss: 11974.83 .. NELBO: 11984.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.0 .. Rec_loss: 5321.57 .. NELBO: 5325.57
****************************************************************************************************
Validation loss decreased (10719.020508 --> 10651.151367).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 8.05 .. Rec_loss: 11874.51 .. NELBO: 11882.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.27 .. Rec_loss: 5301.98 .. NELBO: 5305.25
****************************************************************************************************
Validation loss decreased (10651.151367 --> 10610.485352).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 6.19 .. Rec_loss: 11801.31 .. NELBO: 11807.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.33 .. Rec_loss: 5304.93 .. NELBO: 5307.26
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 4.33 .. Rec_loss: 11775.93 .. NELBO: 11780.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.37 .. Rec_loss: 5325.76 .. NELBO: 5327.13
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 2.47 .. Rec_loss: 11784.65 .. NELBO: 11787.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.64 .. Rec_loss: 5346.5 .. NELBO: 5347.14
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 1.09 .. Rec_loss: 11795.31 .. NELBO: 11796.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.24 .. Rec_loss: 5354.25 .. NELBO: 5354.49
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.4 .. Rec_loss: 11789.72 .. NELBO: 11790.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5350.69 .. NELBO: 5350.77
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.07757306648118548, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=55, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=55, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=55, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1012.58 .. Rec_loss: 12264.46 .. NELBO: 13277.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 38.7 .. Rec_loss: 5445.2 .. NELBO: 5483.9
****************************************************************************************************
Validation loss decreased (inf --> 10967.795898).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 57.5 .. Rec_loss: 12253.87 .. NELBO: 12311.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 31.38 .. Rec_loss: 5436.98 .. NELBO: 5468.36
****************************************************************************************************
Validation loss decreased (10967.795898 --> 10936.727539).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 68.99 .. Rec_loss: 12225.49 .. NELBO: 12294.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 30.91 .. Rec_loss: 5420.41 .. NELBO: 5451.32
****************************************************************************************************
Validation loss decreased (10936.727539 --> 10902.645508).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 58.39 .. Rec_loss: 12174.16 .. NELBO: 12232.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 21.27 .. Rec_loss: 5396.03 .. NELBO: 5417.3
****************************************************************************************************
Validation loss decreased (10902.645508 --> 10834.604492).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 42.96 .. Rec_loss: 12101.12 .. NELBO: 12144.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 19.3 .. Rec_loss: 5364.66 .. NELBO: 5383.96
****************************************************************************************************
Validation loss decreased (10834.604492 --> 10767.922852).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 41.29 .. Rec_loss: 12004.42 .. NELBO: 12045.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 18.92 .. Rec_loss: 5331.45 .. NELBO: 5350.37
****************************************************************************************************
Validation loss decreased (10767.922852 --> 10700.746094).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 39.31 .. Rec_loss: 11903.83 .. NELBO: 11943.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 16.88 .. Rec_loss: 5306.62 .. NELBO: 5323.5
****************************************************************************************************
Validation loss decreased (10700.746094 --> 10647.012695).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 34.37 .. Rec_loss: 11822.72 .. NELBO: 11857.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 14.32 .. Rec_loss: 5300.66 .. NELBO: 5314.98
****************************************************************************************************
Validation loss decreased (10647.012695 --> 10629.958008).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 28.96 .. Rec_loss: 11780.85 .. NELBO: 11809.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 11.41 .. Rec_loss: 5314.44 .. NELBO: 5325.85
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 23.27 .. Rec_loss: 11777.9 .. NELBO: 11801.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 9.36 .. Rec_loss: 5334.01 .. NELBO: 5343.37
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 19.74 .. Rec_loss: 11786.91 .. NELBO: 11806.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 9.01 .. Rec_loss: 5344.15 .. NELBO: 5353.16
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 19.92 .. Rec_loss: 11784.78 .. NELBO: 11804.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 9.69 .. Rec_loss: 5341.95 .. NELBO: 5351.64
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 20.94 .. Rec_loss: 11770.44 .. NELBO: 11791.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 9.18 .. Rec_loss: 5335.23 .. NELBO: 5344.41
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.07757306648118548, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=55, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=55, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=55, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1116.84 .. Rec_loss: 12263.35 .. NELBO: 13380.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 29.83 .. Rec_loss: 5443.94 .. NELBO: 5473.77
****************************************************************************************************
Validation loss decreased (inf --> 10947.524414).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 42.03 .. Rec_loss: 12249.4 .. NELBO: 12291.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 16.86 .. Rec_loss: 5434.4 .. NELBO: 5451.26
****************************************************************************************************
Validation loss decreased (10947.524414 --> 10902.511719).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 36.26 .. Rec_loss: 12218.83 .. NELBO: 12255.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 15.95 .. Rec_loss: 5415.81 .. NELBO: 5431.76
****************************************************************************************************
Validation loss decreased (10902.511719 --> 10863.538086).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 30.72 .. Rec_loss: 12159.82 .. NELBO: 12190.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 11.14 .. Rec_loss: 5387.65 .. NELBO: 5398.79
****************************************************************************************************
Validation loss decreased (10863.538086 --> 10797.575195).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 21.33 .. Rec_loss: 12075.07 .. NELBO: 12096.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.35 .. Rec_loss: 5353.5 .. NELBO: 5361.85
****************************************************************************************************
Validation loss decreased (10797.575195 --> 10723.693359).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 16.48 .. Rec_loss: 11973.4 .. NELBO: 11989.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.34 .. Rec_loss: 5321.05 .. NELBO: 5327.39
****************************************************************************************************
Validation loss decreased (10723.693359 --> 10654.784180).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 12.39 .. Rec_loss: 11874.29 .. NELBO: 11886.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.62 .. Rec_loss: 5301.53 .. NELBO: 5306.15
****************************************************************************************************
Validation loss decreased (10654.784180 --> 10612.305664).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 8.96 .. Rec_loss: 11803.17 .. NELBO: 11812.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.07 .. Rec_loss: 5303.91 .. NELBO: 5306.98
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 5.75 .. Rec_loss: 11776.29 .. NELBO: 11782.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.84 .. Rec_loss: 5324.2 .. NELBO: 5326.04
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 3.42 .. Rec_loss: 11784.33 .. NELBO: 11787.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.99 .. Rec_loss: 5344.52 .. NELBO: 5345.51
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 1.79 .. Rec_loss: 11793.26 .. NELBO: 11795.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.51 .. Rec_loss: 5352.23 .. NELBO: 5352.74
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.94 .. Rec_loss: 11788.57 .. NELBO: 11789.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.28 .. Rec_loss: 5348.93 .. NELBO: 5349.21
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  69
model: ETM(
  (t_drop): Dropout(p=0.06830186670217406, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=54, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=54, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=54, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 69.99 .. Rec_loss: 12263.98 .. NELBO: 12333.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.15 .. Rec_loss: 5443.98 .. NELBO: 5451.13
****************************************************************************************************
Validation loss decreased (inf --> 10902.256836).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.79 .. Rec_loss: 12249.03 .. NELBO: 12256.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 5432.87 .. NELBO: 5433.25
****************************************************************************************************
Validation loss decreased (10902.256836 --> 10866.504883).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.56 .. Rec_loss: 12212.14 .. NELBO: 12212.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5411.08 .. NELBO: 5411.15
****************************************************************************************************
Validation loss decreased (10866.504883 --> 10822.310547).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12144.57 .. NELBO: 12144.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5379.33 .. NELBO: 5379.35
****************************************************************************************************
Validation loss decreased (10822.310547 --> 10758.705078).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12050.99 .. NELBO: 12051.03
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5342.88 .. NELBO: 5342.89
****************************************************************************************************
Validation loss decreased (10758.705078 --> 10685.787109).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11941.59 .. NELBO: 11941.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5312.12 .. NELBO: 5312.13
****************************************************************************************************
Validation loss decreased (10685.787109 --> 10624.273438).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11845.91 .. NELBO: 11845.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5299.81 .. NELBO: 5299.82
****************************************************************************************************
Validation loss decreased (10624.273438 --> 10599.644531).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11789.37 .. NELBO: 11789.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5311.4 .. NELBO: 5311.41
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11779.33 .. NELBO: 11779.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5335.37 .. NELBO: 5335.38
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11792.77 .. NELBO: 11792.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5352.21 .. NELBO: 5352.22
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11797.37 .. NELBO: 11797.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5354.67 .. NELBO: 5354.68
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11786.11 .. NELBO: 11786.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5348.55 .. NELBO: 5348.56
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06830186670217406, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=54, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=54, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=54, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 67.46 .. Rec_loss: 12264.01 .. NELBO: 12331.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.02 .. Rec_loss: 5443.82 .. NELBO: 5450.84
****************************************************************************************************
Validation loss decreased (inf --> 10901.671875).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.61 .. Rec_loss: 12248.44 .. NELBO: 12256.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 5432.17 .. NELBO: 5432.62
****************************************************************************************************
Validation loss decreased (10901.671875 --> 10865.226562).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.65 .. Rec_loss: 12209.54 .. NELBO: 12210.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5409.31 .. NELBO: 5409.38
****************************************************************************************************
Validation loss decreased (10865.226562 --> 10818.779297).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12140.39 .. NELBO: 12140.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5376.81 .. NELBO: 5376.83
****************************************************************************************************
Validation loss decreased (10818.779297 --> 10753.659180).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12042.74 .. NELBO: 12042.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5340.43 .. NELBO: 5340.44
****************************************************************************************************
Validation loss decreased (10753.659180 --> 10680.877930).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11936.44 .. NELBO: 11936.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5310.73 .. NELBO: 5310.74
****************************************************************************************************
Validation loss decreased (10680.877930 --> 10621.486328).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11842.86 .. NELBO: 11842.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5299.97 .. NELBO: 5299.99
****************************************************************************************************
Validation loss decreased (10621.486328 --> 10599.972656).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11788.82 .. NELBO: 11788.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5312.36 .. NELBO: 5312.39
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11781.18 .. NELBO: 11781.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5335.54 .. NELBO: 5335.57
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 11793.41 .. NELBO: 11793.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5350.98 .. NELBO: 5351.01
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 11796.18 .. NELBO: 11796.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5352.8 .. NELBO: 5352.83
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11784.33 .. NELBO: 11784.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.86 .. NELBO: 5346.88
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06830186670217406, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=54, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=54, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=54, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 65.09 .. Rec_loss: 12264.13 .. NELBO: 12329.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.39 .. Rec_loss: 5443.61 .. NELBO: 5450.0
****************************************************************************************************
Validation loss decreased (inf --> 10900.009766).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 6.91 .. Rec_loss: 12247.53 .. NELBO: 12254.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.36 .. Rec_loss: 5431.45 .. NELBO: 5431.81
****************************************************************************************************
Validation loss decreased (10900.009766 --> 10863.612305).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.52 .. Rec_loss: 12207.75 .. NELBO: 12208.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5408.43 .. NELBO: 5408.5
****************************************************************************************************
Validation loss decreased (10863.612305 --> 10817.002930).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12136.65 .. NELBO: 12136.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5375.79 .. NELBO: 5375.81
****************************************************************************************************
Validation loss decreased (10817.002930 --> 10751.625000).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12040.5 .. NELBO: 12040.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5339.43 .. NELBO: 5339.45
****************************************************************************************************
Validation loss decreased (10751.625000 --> 10678.881836).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11933.01 .. NELBO: 11933.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5310.11 .. NELBO: 5310.12
****************************************************************************************************
Validation loss decreased (10678.881836 --> 10620.245117).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11839.06 .. NELBO: 11839.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.16 .. NELBO: 5300.17
****************************************************************************************************
Validation loss decreased (10620.245117 --> 10600.349609).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11786.95 .. NELBO: 11786.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5313.46 .. NELBO: 5313.47
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.11 .. NELBO: 11781.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.04 .. NELBO: 5337.06
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11794.25 .. NELBO: 11794.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.22 .. NELBO: 5352.24
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.31 .. NELBO: 11796.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.47 .. NELBO: 5353.48
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11783.88 .. NELBO: 11783.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5347.18 .. NELBO: 5347.19
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  70
model: ETM(
  (t_drop): Dropout(p=0.08579805262091107, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=81, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=81, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=81, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.3 .. Rec_loss: 12263.26 .. NELBO: 12263.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.37 .. Rec_loss: 5442.12 .. NELBO: 5443.49
****************************************************************************************************
Validation loss decreased (inf --> 10886.973633).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.77 .. Rec_loss: 12240.12 .. NELBO: 12241.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5425.02 .. NELBO: 5425.05
****************************************************************************************************
Validation loss decreased (10886.973633 --> 10850.100586).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.46 .. Rec_loss: 12185.95 .. NELBO: 12186.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.29 .. Rec_loss: 5396.32 .. NELBO: 5396.61
****************************************************************************************************
Validation loss decreased (10850.100586 --> 10793.208008).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.42 .. Rec_loss: 12100.13 .. NELBO: 12100.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.65 .. Rec_loss: 5359.95 .. NELBO: 5360.6
****************************************************************************************************
Validation loss decreased (10793.208008 --> 10721.194336).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 2.35 .. Rec_loss: 11992.59 .. NELBO: 11994.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.41 .. Rec_loss: 5324.52 .. NELBO: 5325.93
****************************************************************************************************
Validation loss decreased (10721.194336 --> 10651.868164).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 1.73 .. Rec_loss: 11888.34 .. NELBO: 11890.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.25 .. Rec_loss: 5303.22 .. NELBO: 5303.47
****************************************************************************************************
Validation loss decreased (10651.868164 --> 10606.940430).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.57 .. Rec_loss: 11812.8 .. NELBO: 11813.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.36 .. Rec_loss: 5303.95 .. NELBO: 5304.31
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.5 .. Rec_loss: 11782.46 .. NELBO: 11782.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5322.9 .. NELBO: 5322.98
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.34 .. Rec_loss: 11786.35 .. NELBO: 11786.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.75 .. Rec_loss: 5342.61 .. NELBO: 5343.36
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 1.2 .. Rec_loss: 11793.8 .. NELBO: 11795.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.6 .. Rec_loss: 5350.52 .. NELBO: 5351.12
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 1.12 .. Rec_loss: 11787.64 .. NELBO: 11788.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.37 .. Rec_loss: 5346.65 .. NELBO: 5348.02
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.08579805262091107, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=81, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=81, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=81, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.31 .. Rec_loss: 12263.42 .. NELBO: 12263.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.13 .. Rec_loss: 5442.54 .. NELBO: 5443.67
****************************************************************************************************
Validation loss decreased (inf --> 10887.336914).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.62 .. Rec_loss: 12241.51 .. NELBO: 12243.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5426.07 .. NELBO: 5426.09
****************************************************************************************************
Validation loss decreased (10887.336914 --> 10852.189453).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.51 .. Rec_loss: 12189.07 .. NELBO: 12189.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.42 .. Rec_loss: 5398.09 .. NELBO: 5398.51
****************************************************************************************************
Validation loss decreased (10852.189453 --> 10797.004883).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.61 .. Rec_loss: 12105.48 .. NELBO: 12106.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.23 .. Rec_loss: 5362.15 .. NELBO: 5362.38
****************************************************************************************************
Validation loss decreased (10797.004883 --> 10724.750977).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.83 .. Rec_loss: 11999.14 .. NELBO: 11999.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.38 .. Rec_loss: 5326.32 .. NELBO: 5327.7
****************************************************************************************************
Validation loss decreased (10724.750977 --> 10655.392578).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 1.77 .. Rec_loss: 11893.29 .. NELBO: 11895.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.2 .. Rec_loss: 5303.97 .. NELBO: 5304.17
****************************************************************************************************
Validation loss decreased (10655.392578 --> 10608.331055).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.9 .. Rec_loss: 11815.7 .. NELBO: 11816.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 5303.42 .. NELBO: 5303.56
****************************************************************************************************
Validation loss decreased (10608.331055 --> 10607.124023).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.3 .. Rec_loss: 11782.67 .. NELBO: 11782.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.4 .. Rec_loss: 5321.6 .. NELBO: 5322.0
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.6 .. Rec_loss: 11785.51 .. NELBO: 11786.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 5342.43 .. NELBO: 5342.56
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.57 .. Rec_loss: 11794.17 .. NELBO: 11794.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.33 .. Rec_loss: 5348.68 .. NELBO: 5351.01
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 4.11 .. Rec_loss: 11785.34 .. NELBO: 11789.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.39 .. Rec_loss: 5346.6 .. NELBO: 5347.99
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 3.0 .. Rec_loss: 11772.3 .. NELBO: 11775.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.33 .. Rec_loss: 5337.49 .. NELBO: 5340.82
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.08579805262091107, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=81, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=81, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=81, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.35 .. Rec_loss: 12263.53 .. NELBO: 12263.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.83 .. Rec_loss: 5442.54 .. NELBO: 5443.37
****************************************************************************************************
Validation loss decreased (inf --> 10886.745117).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.26 .. Rec_loss: 12241.53 .. NELBO: 12242.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5425.87 .. NELBO: 5425.89
****************************************************************************************************
Validation loss decreased (10886.745117 --> 10851.773438).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.5 .. Rec_loss: 12188.29 .. NELBO: 12188.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.35 .. Rec_loss: 5397.45 .. NELBO: 5397.8
****************************************************************************************************
Validation loss decreased (10851.773438 --> 10795.596680).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.63 .. Rec_loss: 12103.52 .. NELBO: 12104.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.6 .. Rec_loss: 5361.05 .. NELBO: 5361.65
****************************************************************************************************
Validation loss decreased (10795.596680 --> 10723.293945).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 1.2 .. Rec_loss: 11996.78 .. NELBO: 11997.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.82 .. Rec_loss: 5325.53 .. NELBO: 5326.35
****************************************************************************************************
Validation loss decreased (10723.293945 --> 10652.707031).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 1.37 .. Rec_loss: 11890.41 .. NELBO: 11891.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.41 .. Rec_loss: 5303.38 .. NELBO: 5303.79
****************************************************************************************************
Validation loss decreased (10652.707031 --> 10607.568359).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.7 .. Rec_loss: 11814.25 .. NELBO: 11814.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 5303.44 .. NELBO: 5303.58
****************************************************************************************************
Validation loss decreased (10607.568359 --> 10607.146484).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 1.01 .. Rec_loss: 11782.42 .. NELBO: 11783.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 5322.37 .. NELBO: 5322.49
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.62 .. Rec_loss: 11786.16 .. NELBO: 11786.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.72 .. Rec_loss: 5342.14 .. NELBO: 5342.86
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 1.02 .. Rec_loss: 11793.52 .. NELBO: 11794.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.52 .. Rec_loss: 5350.21 .. NELBO: 5350.73
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 1.89 .. Rec_loss: 11786.89 .. NELBO: 11788.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.92 .. Rec_loss: 5344.45 .. NELBO: 5347.37
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 5.44 .. Rec_loss: 11769.33 .. NELBO: 11774.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.83 .. Rec_loss: 5339.29 .. NELBO: 5341.12
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  71
model: ETM(
  (t_drop): Dropout(p=0.11138814586098732, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1077.78 .. Rec_loss: 12264.54 .. NELBO: 13342.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 20.81 .. Rec_loss: 5445.84 .. NELBO: 5466.65
****************************************************************************************************
Validation loss decreased (inf --> 10933.301758).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 25.25 .. Rec_loss: 12254.49 .. NELBO: 12279.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.63 .. Rec_loss: 5437.22 .. NELBO: 5440.85
****************************************************************************************************
Validation loss decreased (10933.301758 --> 10881.702148).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 6.98 .. Rec_loss: 12226.4 .. NELBO: 12233.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.03 .. Rec_loss: 5420.3 .. NELBO: 5422.33
****************************************************************************************************
Validation loss decreased (10881.702148 --> 10844.673828).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 3.58 .. Rec_loss: 12172.69 .. NELBO: 12176.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.84 .. Rec_loss: 5393.51 .. NELBO: 5394.35
****************************************************************************************************
Validation loss decreased (10844.673828 --> 10788.707031).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 1.61 .. Rec_loss: 12090.91 .. NELBO: 12092.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.5 .. Rec_loss: 5359.34 .. NELBO: 5359.84
****************************************************************************************************
Validation loss decreased (10788.707031 --> 10719.667969).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 1.02 .. Rec_loss: 11988.98 .. NELBO: 11990.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.32 .. Rec_loss: 5325.25 .. NELBO: 5325.57
****************************************************************************************************
Validation loss decreased (10719.667969 --> 10651.129883).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.63 .. Rec_loss: 11885.0 .. NELBO: 11885.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.21 .. Rec_loss: 5303.17 .. NELBO: 5303.38
****************************************************************************************************
Validation loss decreased (10651.129883 --> 10606.764648).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 11806.87 .. NELBO: 11807.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.18 .. Rec_loss: 5303.7 .. NELBO: 5303.88
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.33 .. Rec_loss: 11776.26 .. NELBO: 11776.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5324.14 .. NELBO: 5324.22
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 11784.18 .. NELBO: 11784.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5346.44 .. NELBO: 5346.47
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11796.68 .. NELBO: 11796.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5355.81 .. NELBO: 5355.84
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11792.28 .. NELBO: 11792.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.9 .. NELBO: 5352.92
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.11138814586098732, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 905.55 .. Rec_loss: 12263.97 .. NELBO: 13169.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 17.89 .. Rec_loss: 5445.23 .. NELBO: 5463.12
****************************************************************************************************
Validation loss decreased (inf --> 10926.250000).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 20.27 .. Rec_loss: 12252.78 .. NELBO: 12273.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.84 .. Rec_loss: 5435.98 .. NELBO: 5437.82
****************************************************************************************************
Validation loss decreased (10926.250000 --> 10875.636719).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 3.56 .. Rec_loss: 12222.51 .. NELBO: 12226.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.0 .. Rec_loss: 5417.98 .. NELBO: 5418.98
****************************************************************************************************
Validation loss decreased (10875.636719 --> 10837.958984).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 1.77 .. Rec_loss: 12166.01 .. NELBO: 12167.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 5390.33 .. NELBO: 5390.76
****************************************************************************************************
Validation loss decreased (10837.958984 --> 10781.512695).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.8 .. Rec_loss: 12081.87 .. NELBO: 12082.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.21 .. Rec_loss: 5355.99 .. NELBO: 5356.2
****************************************************************************************************
Validation loss decreased (10781.512695 --> 10712.405273).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.41 .. Rec_loss: 11978.73 .. NELBO: 11979.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.15 .. Rec_loss: 5322.71 .. NELBO: 5322.86
****************************************************************************************************
Validation loss decreased (10712.405273 --> 10645.714844).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.31 .. Rec_loss: 11877.68 .. NELBO: 11877.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.15 .. Rec_loss: 5302.39 .. NELBO: 5302.54
****************************************************************************************************
Validation loss decreased (10645.714844 --> 10605.069336).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.27 .. Rec_loss: 11803.99 .. NELBO: 11804.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5304.69 .. NELBO: 5304.76
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 11776.61 .. NELBO: 11776.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5325.67 .. NELBO: 5325.7
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11785.58 .. NELBO: 11785.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.18 .. NELBO: 5347.2
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.41 .. NELBO: 11796.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5355.51 .. NELBO: 5355.53
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11791.56 .. NELBO: 11791.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.13 .. NELBO: 5352.15
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.11138814586098732, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1328.16 .. Rec_loss: 12264.18 .. NELBO: 13592.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 25.25 .. Rec_loss: 5445.26 .. NELBO: 5470.51
****************************************************************************************************
Validation loss decreased (inf --> 10941.020508).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 30.4 .. Rec_loss: 12252.98 .. NELBO: 12283.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.19 .. Rec_loss: 5436.28 .. NELBO: 5442.47
****************************************************************************************************
Validation loss decreased (10941.020508 --> 10884.949219).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 13.56 .. Rec_loss: 12223.31 .. NELBO: 12236.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 5.51 .. Rec_loss: 5418.61 .. NELBO: 5424.12
****************************************************************************************************
Validation loss decreased (10884.949219 --> 10848.232422).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 11.2 .. Rec_loss: 12167.52 .. NELBO: 12178.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.78 .. Rec_loss: 5391.37 .. NELBO: 5395.15
****************************************************************************************************
Validation loss decreased (10848.232422 --> 10790.315430).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 7.62 .. Rec_loss: 12084.78 .. NELBO: 12092.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.58 .. Rec_loss: 5357.38 .. NELBO: 5359.96
****************************************************************************************************
Validation loss decreased (10790.315430 --> 10719.923828).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 5.26 .. Rec_loss: 11983.16 .. NELBO: 11988.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.85 .. Rec_loss: 5324.12 .. NELBO: 5325.97
****************************************************************************************************
Validation loss decreased (10719.923828 --> 10651.936523).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 3.96 .. Rec_loss: 11880.8 .. NELBO: 11884.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.44 .. Rec_loss: 5303.17 .. NELBO: 5304.61
****************************************************************************************************
Validation loss decreased (10651.936523 --> 10609.222656).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 2.92 .. Rec_loss: 11805.72 .. NELBO: 11808.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.12 .. Rec_loss: 5304.33 .. NELBO: 5305.45
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 2.36 .. Rec_loss: 11776.64 .. NELBO: 11779.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.86 .. Rec_loss: 5324.58 .. NELBO: 5325.44
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 1.79 .. Rec_loss: 11784.34 .. NELBO: 11786.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.64 .. Rec_loss: 5346.26 .. NELBO: 5346.9
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 1.29 .. Rec_loss: 11796.0 .. NELBO: 11797.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.46 .. Rec_loss: 5355.17 .. NELBO: 5355.63
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.97 .. Rec_loss: 11791.79 .. NELBO: 11792.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.33 .. Rec_loss: 5352.09 .. NELBO: 5352.42
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  72
model: ETM(
  (t_drop): Dropout(p=0.10151158214290225, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=88, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=88, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=88, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1149.16 .. Rec_loss: 12264.37 .. NELBO: 13413.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 35.34 .. Rec_loss: 5446.08 .. NELBO: 5481.42
****************************************************************************************************
Validation loss decreased (inf --> 10962.847656).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 50.39 .. Rec_loss: 12255.72 .. NELBO: 12306.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 23.13 .. Rec_loss: 5438.25 .. NELBO: 5461.38
****************************************************************************************************
Validation loss decreased (10962.847656 --> 10922.766602).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 49.61 .. Rec_loss: 12230.37 .. NELBO: 12279.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 18.96 .. Rec_loss: 5422.43 .. NELBO: 5441.39
****************************************************************************************************
Validation loss decreased (10922.766602 --> 10882.785156).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 36.77 .. Rec_loss: 12180.56 .. NELBO: 12217.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 11.85 .. Rec_loss: 5397.8 .. NELBO: 5409.65
****************************************************************************************************
Validation loss decreased (10882.785156 --> 10819.293945).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 24.34 .. Rec_loss: 12105.16 .. NELBO: 12129.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.54 .. Rec_loss: 5365.3 .. NELBO: 5373.84
****************************************************************************************************
Validation loss decreased (10819.293945 --> 10747.672852).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 18.06 .. Rec_loss: 12007.15 .. NELBO: 12025.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.89 .. Rec_loss: 5331.1 .. NELBO: 5337.99
****************************************************************************************************
Validation loss decreased (10747.672852 --> 10675.975586).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 14.92 .. Rec_loss: 11903.33 .. NELBO: 11918.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 5.64 .. Rec_loss: 5306.09 .. NELBO: 5311.73
****************************************************************************************************
Validation loss decreased (10675.975586 --> 10623.460938).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 11.67 .. Rec_loss: 11819.54 .. NELBO: 11831.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.34 .. Rec_loss: 5301.4 .. NELBO: 5305.74
****************************************************************************************************
Validation loss decreased (10623.460938 --> 10611.487305).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 9.12 .. Rec_loss: 11779.11 .. NELBO: 11788.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.98 .. Rec_loss: 5317.54 .. NELBO: 5320.52
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 6.24 .. Rec_loss: 11780.08 .. NELBO: 11786.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.97 .. Rec_loss: 5339.36 .. NELBO: 5341.33
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 4.39 .. Rec_loss: 11791.8 .. NELBO: 11796.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.64 .. Rec_loss: 5350.78 .. NELBO: 5352.42
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 3.98 .. Rec_loss: 11790.67 .. NELBO: 11794.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.92 .. Rec_loss: 5349.68 .. NELBO: 5351.6
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 4.77 .. Rec_loss: 11777.3 .. NELBO: 11782.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.37 .. Rec_loss: 5342.77 .. NELBO: 5345.14
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.10151158214290225, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=88, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=88, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=88, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1273.6 .. Rec_loss: 12265.8 .. NELBO: 13539.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 26.18 .. Rec_loss: 5446.21 .. NELBO: 5472.39
****************************************************************************************************
Validation loss decreased (inf --> 10944.776367).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 31.75 .. Rec_loss: 12256.64 .. NELBO: 12288.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.53 .. Rec_loss: 5439.07 .. NELBO: 5445.6
****************************************************************************************************
Validation loss decreased (10944.776367 --> 10891.215820).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 13.46 .. Rec_loss: 12232.93 .. NELBO: 12246.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.79 .. Rec_loss: 5424.28 .. NELBO: 5429.07
****************************************************************************************************
Validation loss decreased (10891.215820 --> 10858.149414).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 9.15 .. Rec_loss: 12186.0 .. NELBO: 12195.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.74 .. Rec_loss: 5399.86 .. NELBO: 5402.6
****************************************************************************************************
Validation loss decreased (10858.149414 --> 10805.201172).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 5.19 .. Rec_loss: 12110.87 .. NELBO: 12116.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.71 .. Rec_loss: 5367.4 .. NELBO: 5369.11
****************************************************************************************************
Validation loss decreased (10805.201172 --> 10738.225586).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 3.41 .. Rec_loss: 12013.21 .. NELBO: 12016.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.14 .. Rec_loss: 5332.96 .. NELBO: 5334.1
****************************************************************************************************
Validation loss decreased (10738.225586 --> 10668.208984).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 2.25 .. Rec_loss: 11908.67 .. NELBO: 11910.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.78 .. Rec_loss: 5307.29 .. NELBO: 5308.07
****************************************************************************************************
Validation loss decreased (10668.208984 --> 10616.149414).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 1.54 .. Rec_loss: 11824.04 .. NELBO: 11825.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.56 .. Rec_loss: 5301.61 .. NELBO: 5302.17
****************************************************************************************************
Validation loss decreased (10616.149414 --> 10604.352539).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 1.12 .. Rec_loss: 11781.58 .. NELBO: 11782.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 5317.45 .. NELBO: 5317.83
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.72 .. Rec_loss: 11781.1 .. NELBO: 11781.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 5340.33 .. NELBO: 5340.55
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.41 .. Rec_loss: 11794.51 .. NELBO: 11794.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 5353.15 .. NELBO: 5353.26
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.19 .. Rec_loss: 11794.98 .. NELBO: 11795.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5352.75 .. NELBO: 5352.8
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 11781.18 .. NELBO: 11781.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5345.94 .. NELBO: 5345.96
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.10151158214290225, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=88, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=88, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=88, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1198.94 .. Rec_loss: 12264.43 .. NELBO: 13463.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 24.19 .. Rec_loss: 5445.64 .. NELBO: 5469.83
****************************************************************************************************
Validation loss decreased (inf --> 10939.662109).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 32.92 .. Rec_loss: 12254.54 .. NELBO: 12287.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 10.17 .. Rec_loss: 5436.85 .. NELBO: 5447.02
****************************************************************************************************
Validation loss decreased (10939.662109 --> 10894.045898).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 22.37 .. Rec_loss: 12225.77 .. NELBO: 12248.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 9.92 .. Rec_loss: 5419.88 .. NELBO: 5429.8
****************************************************************************************************
Validation loss decreased (10894.045898 --> 10859.602539).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 19.27 .. Rec_loss: 12172.11 .. NELBO: 12191.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.36 .. Rec_loss: 5393.36 .. NELBO: 5399.72
****************************************************************************************************
Validation loss decreased (10859.602539 --> 10799.436523).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 12.36 .. Rec_loss: 12091.69 .. NELBO: 12104.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.83 .. Rec_loss: 5359.64 .. NELBO: 5363.47
****************************************************************************************************
Validation loss decreased (10799.436523 --> 10726.935547).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 7.59 .. Rec_loss: 11990.78 .. NELBO: 11998.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.39 .. Rec_loss: 5325.89 .. NELBO: 5328.28
****************************************************************************************************
Validation loss decreased (10726.935547 --> 10656.555664).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 4.83 .. Rec_loss: 11887.99 .. NELBO: 11892.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.52 .. Rec_loss: 5303.64 .. NELBO: 5305.16
****************************************************************************************************
Validation loss decreased (10656.555664 --> 10610.313477).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 3.05 .. Rec_loss: 11810.57 .. NELBO: 11813.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.96 .. Rec_loss: 5303.11 .. NELBO: 5304.07
****************************************************************************************************
Validation loss decreased (10610.313477 --> 10608.148438).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 1.92 .. Rec_loss: 11777.99 .. NELBO: 11779.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.57 .. Rec_loss: 5322.35 .. NELBO: 5322.92
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 1.11 .. Rec_loss: 11784.03 .. NELBO: 11785.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.3 .. Rec_loss: 5344.22 .. NELBO: 5344.52
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.58 .. Rec_loss: 11795.26 .. NELBO: 11795.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 5353.94 .. NELBO: 5354.08
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.27 .. Rec_loss: 11792.56 .. NELBO: 11792.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5351.48 .. NELBO: 5351.55
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 11778.67 .. NELBO: 11778.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5344.23 .. NELBO: 5344.27
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  73
model: ETM(
  (t_drop): Dropout(p=0.08331390356053814, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1148.41 .. Rec_loss: 12265.06 .. NELBO: 13413.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 23.17 .. Rec_loss: 5446.2 .. NELBO: 5469.37
****************************************************************************************************
Validation loss decreased (inf --> 10938.732422).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 31.65 .. Rec_loss: 12256.25 .. NELBO: 12287.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 10.67 .. Rec_loss: 5438.3 .. NELBO: 5448.97
****************************************************************************************************
Validation loss decreased (10938.732422 --> 10897.946289).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 23.32 .. Rec_loss: 12230.39 .. NELBO: 12253.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 10.53 .. Rec_loss: 5422.46 .. NELBO: 5432.99
****************************************************************************************************
Validation loss decreased (10897.946289 --> 10865.985352).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 20.35 .. Rec_loss: 12179.62 .. NELBO: 12199.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.03 .. Rec_loss: 5396.99 .. NELBO: 5404.02
****************************************************************************************************
Validation loss decreased (10865.985352 --> 10808.045898).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 13.21 .. Rec_loss: 12101.84 .. NELBO: 12115.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.42 .. Rec_loss: 5363.87 .. NELBO: 5368.29
****************************************************************************************************
Validation loss decreased (10808.045898 --> 10736.580078).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 8.68 .. Rec_loss: 12002.61 .. NELBO: 12011.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.99 .. Rec_loss: 5329.55 .. NELBO: 5332.54
****************************************************************************************************
Validation loss decreased (10736.580078 --> 10665.086914).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 5.85 .. Rec_loss: 11897.99 .. NELBO: 11903.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.09 .. Rec_loss: 5305.27 .. NELBO: 5307.36
****************************************************************************************************
Validation loss decreased (10665.086914 --> 10614.716797).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 4.13 .. Rec_loss: 11815.74 .. NELBO: 11819.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.43 .. Rec_loss: 5302.25 .. NELBO: 5303.68
****************************************************************************************************
Validation loss decreased (10614.716797 --> 10607.361328).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 2.77 .. Rec_loss: 11778.51 .. NELBO: 11781.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.92 .. Rec_loss: 5320.38 .. NELBO: 5321.3
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 1.81 .. Rec_loss: 11781.72 .. NELBO: 11783.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.54 .. Rec_loss: 5343.24 .. NELBO: 5343.78
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 1.01 .. Rec_loss: 11795.05 .. NELBO: 11796.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.29 .. Rec_loss: 5354.47 .. NELBO: 5354.76
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.56 .. Rec_loss: 11794.18 .. NELBO: 11794.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.17 .. Rec_loss: 5352.67 .. NELBO: 5352.84
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.32 .. Rec_loss: 11779.54 .. NELBO: 11779.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 5345.26 .. NELBO: 5345.37
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.08331390356053814, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1059.08 .. Rec_loss: 12264.29 .. NELBO: 13323.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 19.06 .. Rec_loss: 5445.56 .. NELBO: 5464.62
****************************************************************************************************
Validation loss decreased (inf --> 10929.228516).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 21.03 .. Rec_loss: 12253.8 .. NELBO: 12274.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.85 .. Rec_loss: 5436.5 .. NELBO: 5438.35
****************************************************************************************************
Validation loss decreased (10929.228516 --> 10876.708008).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 3.69 .. Rec_loss: 12224.25 .. NELBO: 12227.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.14 .. Rec_loss: 5418.69 .. NELBO: 5419.83
****************************************************************************************************
Validation loss decreased (10876.708008 --> 10839.663086).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 1.96 .. Rec_loss: 12168.11 .. NELBO: 12170.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.48 .. Rec_loss: 5390.96 .. NELBO: 5391.44
****************************************************************************************************
Validation loss decreased (10839.663086 --> 10782.876953).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.85 .. Rec_loss: 12083.51 .. NELBO: 12084.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.21 .. Rec_loss: 5356.34 .. NELBO: 5356.55
****************************************************************************************************
Validation loss decreased (10782.876953 --> 10713.116211).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 11980.47 .. NELBO: 11980.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 5322.71 .. NELBO: 5322.84
****************************************************************************************************
Validation loss decreased (10713.116211 --> 10645.676758).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.29 .. Rec_loss: 11877.77 .. NELBO: 11878.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.18 .. Rec_loss: 5302.11 .. NELBO: 5302.29
****************************************************************************************************
Validation loss decreased (10645.676758 --> 10604.587891).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.31 .. Rec_loss: 11803.62 .. NELBO: 11803.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5304.45 .. NELBO: 5304.52
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 11776.17 .. NELBO: 11776.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5325.76 .. NELBO: 5325.79
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11785.24 .. NELBO: 11785.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5347.68 .. NELBO: 5347.71
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11796.92 .. NELBO: 11796.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5356.23 .. NELBO: 5356.25
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11792.04 .. NELBO: 11792.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.76 .. NELBO: 5352.78
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.08331390356053814, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1116.99 .. Rec_loss: 12264.51 .. NELBO: 13381.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 20.35 .. Rec_loss: 5445.57 .. NELBO: 5465.92
****************************************************************************************************
Validation loss decreased (inf --> 10931.845703).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 23.33 .. Rec_loss: 12254.4 .. NELBO: 12277.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.33 .. Rec_loss: 5437.24 .. NELBO: 5440.57
****************************************************************************************************
Validation loss decreased (10931.845703 --> 10881.130859).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 6.43 .. Rec_loss: 12226.19 .. NELBO: 12232.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.08 .. Rec_loss: 5420.11 .. NELBO: 5422.19
****************************************************************************************************
Validation loss decreased (10881.130859 --> 10844.375000).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 3.5 .. Rec_loss: 12172.05 .. NELBO: 12175.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.75 .. Rec_loss: 5393.22 .. NELBO: 5393.97
****************************************************************************************************
Validation loss decreased (10844.375000 --> 10787.929688).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 1.24 .. Rec_loss: 12090.0 .. NELBO: 12091.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.24 .. Rec_loss: 5359.21 .. NELBO: 5359.45
****************************************************************************************************
Validation loss decreased (10787.929688 --> 10718.887695).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.4 .. Rec_loss: 11988.64 .. NELBO: 11989.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5325.4 .. NELBO: 5325.49
****************************************************************************************************
Validation loss decreased (10718.887695 --> 10650.970703).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.16 .. Rec_loss: 11885.39 .. NELBO: 11885.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5303.46 .. NELBO: 5303.51
****************************************************************************************************
Validation loss decreased (10650.970703 --> 10607.009766).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 11808.13 .. NELBO: 11808.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5303.72 .. NELBO: 5303.75
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11777.35 .. NELBO: 11777.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5323.81 .. NELBO: 5323.83
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11784.32 .. NELBO: 11784.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.13 .. NELBO: 5346.15
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.97 .. NELBO: 11797.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5355.82 .. NELBO: 5355.84
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.4 .. NELBO: 11793.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.1 .. NELBO: 5353.12
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  74
model: ETM(
  (t_drop): Dropout(p=0.018015881709101247, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 91.55 .. Rec_loss: 12264.43 .. NELBO: 12355.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.18 .. Rec_loss: 5444.47 .. NELBO: 5452.65
****************************************************************************************************
Validation loss decreased (inf --> 10905.309570).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.77 .. Rec_loss: 12250.28 .. NELBO: 12259.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.44 .. Rec_loss: 5433.36 .. NELBO: 5433.8
****************************************************************************************************
Validation loss decreased (10905.309570 --> 10867.605469).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.62 .. Rec_loss: 12213.98 .. NELBO: 12214.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5411.9 .. NELBO: 5411.97
****************************************************************************************************
Validation loss decreased (10867.605469 --> 10823.935547).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12147.58 .. NELBO: 12147.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5380.67 .. NELBO: 5380.69
****************************************************************************************************
Validation loss decreased (10823.935547 --> 10761.390625).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12055.22 .. NELBO: 12055.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5344.67 .. NELBO: 5344.69
****************************************************************************************************
Validation loss decreased (10761.390625 --> 10689.373047).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11948.59 .. NELBO: 11948.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.72 .. NELBO: 5313.74
****************************************************************************************************
Validation loss decreased (10689.373047 --> 10627.476562).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11852.72 .. NELBO: 11852.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.1 .. NELBO: 5300.12
****************************************************************************************************
Validation loss decreased (10627.476562 --> 10600.240234).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11793.31 .. NELBO: 11793.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5309.79 .. NELBO: 5309.81
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11780.26 .. NELBO: 11780.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5332.77 .. NELBO: 5332.79
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11791.52 .. NELBO: 11791.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.08 .. NELBO: 5350.1
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.59 .. NELBO: 11796.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.62 .. NELBO: 5353.64
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11786.38 .. NELBO: 11786.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5348.29 .. NELBO: 5348.3
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.018015881709101247, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 86.97 .. Rec_loss: 12263.74 .. NELBO: 12350.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.91 .. Rec_loss: 5443.83 .. NELBO: 5451.74
****************************************************************************************************
Validation loss decreased (inf --> 10903.478516).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.47 .. Rec_loss: 12247.46 .. NELBO: 12255.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 5431.21 .. NELBO: 5431.6
****************************************************************************************************
Validation loss decreased (10903.478516 --> 10863.207031).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.54 .. Rec_loss: 12205.97 .. NELBO: 12206.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5407.49 .. NELBO: 5407.55
****************************************************************************************************
Validation loss decreased (10863.207031 --> 10815.104492).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 12133.2 .. NELBO: 12133.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5374.14 .. NELBO: 5374.16
****************************************************************************************************
Validation loss decreased (10815.104492 --> 10748.331055).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12034.55 .. NELBO: 12034.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.54 .. NELBO: 5337.56
****************************************************************************************************
Validation loss decreased (10748.331055 --> 10675.120117).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11925.84 .. NELBO: 11925.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5309.04 .. NELBO: 5309.06
****************************************************************************************************
Validation loss decreased (10675.120117 --> 10618.118164).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11834.03 .. NELBO: 11834.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.92 .. NELBO: 5300.94
****************************************************************************************************
Validation loss decreased (10618.118164 --> 10601.862305).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11786.12 .. NELBO: 11786.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5315.69 .. NELBO: 5315.71
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11782.15 .. NELBO: 11782.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5339.01 .. NELBO: 5339.03
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.07 .. NELBO: 11795.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.77 .. NELBO: 5352.79
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.27 .. NELBO: 11795.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.98 .. NELBO: 5353.0
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11782.54 .. NELBO: 11782.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.34 .. NELBO: 5346.36
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.018015881709101247, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 88.52 .. Rec_loss: 12263.88 .. NELBO: 12352.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.06 .. Rec_loss: 5443.58 .. NELBO: 5451.64
****************************************************************************************************
Validation loss decreased (inf --> 10903.284180).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.84 .. Rec_loss: 12246.74 .. NELBO: 12255.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.5 .. Rec_loss: 5430.61 .. NELBO: 5431.11
****************************************************************************************************
Validation loss decreased (10903.284180 --> 10862.217773).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.7 .. Rec_loss: 12204.15 .. NELBO: 12204.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5406.62 .. NELBO: 5406.69
****************************************************************************************************
Validation loss decreased (10862.217773 --> 10813.384766).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12130.83 .. NELBO: 12130.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5373.22 .. NELBO: 5373.25
****************************************************************************************************
Validation loss decreased (10813.384766 --> 10746.483398).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12032.15 .. NELBO: 12032.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.83 .. NELBO: 5336.85
****************************************************************************************************
Validation loss decreased (10746.483398 --> 10673.696289).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11924.04 .. NELBO: 11924.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5308.7 .. NELBO: 5308.72
****************************************************************************************************
Validation loss decreased (10673.696289 --> 10617.438477).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11833.55 .. NELBO: 11833.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.8 .. NELBO: 5300.82
****************************************************************************************************
Validation loss decreased (10617.438477 --> 10601.633789).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11785.96 .. NELBO: 11786.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5315.49 .. NELBO: 5315.51
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.79 .. NELBO: 11781.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5338.66 .. NELBO: 5338.68
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11794.34 .. NELBO: 11794.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.48 .. NELBO: 5352.5
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.44 .. NELBO: 11795.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.85 .. NELBO: 5352.87
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11782.75 .. NELBO: 11782.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.32 .. NELBO: 5346.34
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  75
model: ETM(
  (t_drop): Dropout(p=0.059641002674581, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=82, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=82, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=82, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 88.8 .. Rec_loss: 12264.51 .. NELBO: 12353.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.79 .. Rec_loss: 5444.33 .. NELBO: 5452.12
****************************************************************************************************
Validation loss decreased (inf --> 10904.231445).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.48 .. Rec_loss: 12249.84 .. NELBO: 12258.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 5433.02 .. NELBO: 5433.47
****************************************************************************************************
Validation loss decreased (10904.231445 --> 10866.936523).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.63 .. Rec_loss: 12212.64 .. NELBO: 12213.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5411.13 .. NELBO: 5411.2
****************************************************************************************************
Validation loss decreased (10866.936523 --> 10822.406250).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12145.85 .. NELBO: 12145.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5379.46 .. NELBO: 5379.49
****************************************************************************************************
Validation loss decreased (10822.406250 --> 10758.965820).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12051.67 .. NELBO: 12051.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5343.28 .. NELBO: 5343.3
****************************************************************************************************
Validation loss decreased (10758.965820 --> 10686.594727).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11944.94 .. NELBO: 11944.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.76 .. NELBO: 5312.78
****************************************************************************************************
Validation loss decreased (10686.594727 --> 10625.557617).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11849.33 .. NELBO: 11849.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.18 .. NELBO: 5300.2
****************************************************************************************************
Validation loss decreased (10625.557617 --> 10600.397461).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.27 .. NELBO: 11792.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.76 .. NELBO: 5310.78
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.83 .. NELBO: 11780.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5333.61 .. NELBO: 5333.63
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.29 .. NELBO: 11792.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.09 .. NELBO: 5350.11
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.04 .. NELBO: 11796.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.99 .. NELBO: 5353.01
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11785.79 .. NELBO: 11785.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.47 .. NELBO: 5347.49
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.059641002674581, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=82, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=82, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=82, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 88.85 .. Rec_loss: 12264.32 .. NELBO: 12353.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.91 .. Rec_loss: 5444.29 .. NELBO: 5452.2
****************************************************************************************************
Validation loss decreased (inf --> 10904.396484).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.58 .. Rec_loss: 12249.46 .. NELBO: 12258.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.42 .. Rec_loss: 5432.73 .. NELBO: 5433.15
****************************************************************************************************
Validation loss decreased (10904.396484 --> 10866.301758).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.59 .. Rec_loss: 12211.3 .. NELBO: 12211.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5410.46 .. NELBO: 5410.52
****************************************************************************************************
Validation loss decreased (10866.301758 --> 10821.047852).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 12142.73 .. NELBO: 12142.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5378.36 .. NELBO: 5378.38
****************************************************************************************************
Validation loss decreased (10821.047852 --> 10756.766602).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12047.61 .. NELBO: 12047.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5341.96 .. NELBO: 5341.98
****************************************************************************************************
Validation loss decreased (10756.766602 --> 10683.962891).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11940.63 .. NELBO: 11940.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.69 .. NELBO: 5311.71
****************************************************************************************************
Validation loss decreased (10683.962891 --> 10623.416016).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11845.35 .. NELBO: 11845.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5299.93 .. NELBO: 5299.95
****************************************************************************************************
Validation loss decreased (10623.416016 --> 10599.885742).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11789.45 .. NELBO: 11789.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.61 .. NELBO: 5311.63
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.33 .. NELBO: 11780.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.04 .. NELBO: 5335.06
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.88 .. NELBO: 11792.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.27 .. NELBO: 5351.29
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.37 .. NELBO: 11796.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.58 .. NELBO: 5353.6
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11785.44 .. NELBO: 11785.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.68 .. NELBO: 5347.7
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.059641002674581, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=82, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=82, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=82, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 94.31 .. Rec_loss: 12264.14 .. NELBO: 12358.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.59 .. Rec_loss: 5443.71 .. NELBO: 5452.3
****************************************************************************************************
Validation loss decreased (inf --> 10904.600586).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 9.32 .. Rec_loss: 12247.51 .. NELBO: 12256.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.47 .. Rec_loss: 5431.13 .. NELBO: 5431.6
****************************************************************************************************
Validation loss decreased (10904.600586 --> 10863.195312).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.66 .. Rec_loss: 12206.37 .. NELBO: 12207.03
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5407.74 .. NELBO: 5407.81
****************************************************************************************************
Validation loss decreased (10863.195312 --> 10815.624023).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12134.77 .. NELBO: 12134.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5374.81 .. NELBO: 5374.83
****************************************************************************************************
Validation loss decreased (10815.624023 --> 10749.675781).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12037.85 .. NELBO: 12037.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5338.39 .. NELBO: 5338.41
****************************************************************************************************
Validation loss decreased (10749.675781 --> 10676.806641).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11929.95 .. NELBO: 11929.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5309.38 .. NELBO: 5309.4
****************************************************************************************************
Validation loss decreased (10676.806641 --> 10618.797852).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11838.02 .. NELBO: 11838.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.0 .. NELBO: 5300.02
****************************************************************************************************
Validation loss decreased (10618.797852 --> 10600.041016).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11787.48 .. NELBO: 11787.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.72 .. NELBO: 5313.74
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.32 .. NELBO: 11781.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.29 .. NELBO: 5337.31
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11794.34 .. NELBO: 11794.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.13 .. NELBO: 5352.15
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.83 .. NELBO: 11795.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.21 .. NELBO: 5353.23
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11783.62 .. NELBO: 11783.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.89 .. NELBO: 5346.91
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  76
model: ETM(
  (t_drop): Dropout(p=0.056576243763062084, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=83, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=83, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=83, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 95.26 .. Rec_loss: 12263.98 .. NELBO: 12359.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.38 .. Rec_loss: 5443.71 .. NELBO: 5452.09
****************************************************************************************************
Validation loss decreased (inf --> 10904.165039).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.99 .. Rec_loss: 12247.35 .. NELBO: 12256.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.46 .. Rec_loss: 5431.1 .. NELBO: 5431.56
****************************************************************************************************
Validation loss decreased (10904.165039 --> 10863.124023).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.67 .. Rec_loss: 12205.96 .. NELBO: 12206.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5407.11 .. NELBO: 5407.19
****************************************************************************************************
Validation loss decreased (10863.124023 --> 10814.389648).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12132.61 .. NELBO: 12132.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5373.55 .. NELBO: 5373.58
****************************************************************************************************
Validation loss decreased (10814.389648 --> 10747.158203).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12034.42 .. NELBO: 12034.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.93 .. NELBO: 5336.95
****************************************************************************************************
Validation loss decreased (10747.158203 --> 10673.897461).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11925.7 .. NELBO: 11925.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5308.55 .. NELBO: 5308.57
****************************************************************************************************
Validation loss decreased (10673.897461 --> 10617.129883).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11835.2 .. NELBO: 11835.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.44 .. NELBO: 5300.45
****************************************************************************************************
Validation loss decreased (10617.129883 --> 10600.909180).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11786.94 .. NELBO: 11786.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5315.05 .. NELBO: 5315.06
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11782.49 .. NELBO: 11782.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5338.18 .. NELBO: 5338.19
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11794.74 .. NELBO: 11794.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5352.0 .. NELBO: 5352.01
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.52 .. NELBO: 11795.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5352.37 .. NELBO: 5352.38
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11782.85 .. NELBO: 11782.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5345.91 .. NELBO: 5345.92
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.056576243763062084, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=83, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=83, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=83, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 86.13 .. Rec_loss: 12264.56 .. NELBO: 12350.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.18 .. Rec_loss: 5444.62 .. NELBO: 5452.8
****************************************************************************************************
Validation loss decreased (inf --> 10905.589844).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.86 .. Rec_loss: 12250.4 .. NELBO: 12259.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.46 .. Rec_loss: 5433.43 .. NELBO: 5433.89
****************************************************************************************************
Validation loss decreased (10905.589844 --> 10867.775391).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.66 .. Rec_loss: 12213.4 .. NELBO: 12214.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5411.39 .. NELBO: 5411.47
****************************************************************************************************
Validation loss decreased (10867.775391 --> 10822.943359).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12145.63 .. NELBO: 12145.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5379.44 .. NELBO: 5379.47
****************************************************************************************************
Validation loss decreased (10822.943359 --> 10758.932617).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12050.11 .. NELBO: 12050.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5343.01 .. NELBO: 5343.03
****************************************************************************************************
Validation loss decreased (10758.932617 --> 10686.062500).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11942.94 .. NELBO: 11942.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.49 .. NELBO: 5312.51
****************************************************************************************************
Validation loss decreased (10686.062500 --> 10625.028320).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11847.4 .. NELBO: 11847.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.35 .. NELBO: 5300.37
****************************************************************************************************
Validation loss decreased (10625.028320 --> 10600.749023).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11790.61 .. NELBO: 11790.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.66 .. NELBO: 5311.68
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.67 .. NELBO: 11780.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5334.94 .. NELBO: 5334.96
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.7 .. NELBO: 11792.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.28 .. NELBO: 5351.3
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.6 .. NELBO: 11796.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.69 .. NELBO: 5353.71
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11785.51 .. NELBO: 11785.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.79 .. NELBO: 5347.81
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.056576243763062084, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=83, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=83, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=83, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 83.4 .. Rec_loss: 12263.84 .. NELBO: 12347.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.03 .. Rec_loss: 5443.63 .. NELBO: 5451.66
****************************************************************************************************
Validation loss decreased (inf --> 10903.303711).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.65 .. Rec_loss: 12246.83 .. NELBO: 12255.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 5431.13 .. NELBO: 5431.51
****************************************************************************************************
Validation loss decreased (10903.303711 --> 10863.021484).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.54 .. Rec_loss: 12205.98 .. NELBO: 12206.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5407.43 .. NELBO: 5407.49
****************************************************************************************************
Validation loss decreased (10863.021484 --> 10814.982422).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12132.78 .. NELBO: 12132.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5374.19 .. NELBO: 5374.21
****************************************************************************************************
Validation loss decreased (10814.982422 --> 10748.430664).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12034.93 .. NELBO: 12034.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.8 .. NELBO: 5337.82
****************************************************************************************************
Validation loss decreased (10748.430664 --> 10675.634766).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11926.85 .. NELBO: 11926.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5309.35 .. NELBO: 5309.37
****************************************************************************************************
Validation loss decreased (10675.634766 --> 10618.727539).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11835.4 .. NELBO: 11835.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.88 .. NELBO: 5300.9
****************************************************************************************************
Validation loss decreased (10618.727539 --> 10601.802734).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11786.76 .. NELBO: 11786.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5315.14 .. NELBO: 5315.16
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11782.2 .. NELBO: 11782.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5338.23 .. NELBO: 5338.25
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11794.36 .. NELBO: 11794.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.2 .. NELBO: 5352.22
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.3 .. NELBO: 11795.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.72 .. NELBO: 5352.74
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11782.92 .. NELBO: 11782.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.24 .. NELBO: 5346.26
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  77
model: ETM(
  (t_drop): Dropout(p=0.015274157220509057, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.28 .. Rec_loss: 12263.63 .. NELBO: 12263.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.69 .. Rec_loss: 5442.78 .. NELBO: 5444.47
****************************************************************************************************
Validation loss decreased (inf --> 10888.933594).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.94 .. Rec_loss: 12241.92 .. NELBO: 12243.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5426.27 .. NELBO: 5426.28
****************************************************************************************************
Validation loss decreased (10888.933594 --> 10852.569336).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.51 .. Rec_loss: 12189.11 .. NELBO: 12189.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.27 .. Rec_loss: 5397.98 .. NELBO: 5398.25
****************************************************************************************************
Validation loss decreased (10852.569336 --> 10796.496094).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.55 .. Rec_loss: 12103.9 .. NELBO: 12104.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.02 .. Rec_loss: 5361.59 .. NELBO: 5362.61
****************************************************************************************************
Validation loss decreased (10796.496094 --> 10725.205078).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 3.66 .. Rec_loss: 11996.42 .. NELBO: 12000.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.64 .. Rec_loss: 5326.36 .. NELBO: 5327.0
****************************************************************************************************
Validation loss decreased (10725.205078 --> 10653.981445).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.87 .. Rec_loss: 11893.72 .. NELBO: 11894.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 5303.93 .. NELBO: 5304.07
****************************************************************************************************
Validation loss decreased (10653.981445 --> 10608.142578).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.69 .. Rec_loss: 11815.15 .. NELBO: 11815.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.29 .. Rec_loss: 5303.68 .. NELBO: 5303.97
****************************************************************************************************
Validation loss decreased (10608.142578 --> 10607.946289).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.41 .. Rec_loss: 11782.94 .. NELBO: 11783.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 5322.49 .. NELBO: 5322.87
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.6 .. Rec_loss: 11786.66 .. NELBO: 11787.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 5342.83 .. NELBO: 5343.05
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 11795.04 .. NELBO: 11795.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.34 .. Rec_loss: 5350.99 .. NELBO: 5351.33
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.68 .. Rec_loss: 11789.01 .. NELBO: 11789.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.93 .. Rec_loss: 5347.29 .. NELBO: 5348.22
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 1.86 .. Rec_loss: 11773.45 .. NELBO: 11775.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.14 .. Rec_loss: 5340.23 .. NELBO: 5341.37
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.015274157220509057, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.32 .. Rec_loss: 12263.67 .. NELBO: 12263.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.63 .. Rec_loss: 5442.91 .. NELBO: 5444.54
****************************************************************************************************
Validation loss decreased (inf --> 10889.064453).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.98 .. Rec_loss: 12242.52 .. NELBO: 12244.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5426.73 .. NELBO: 5426.75
****************************************************************************************************
Validation loss decreased (10889.064453 --> 10853.500977).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.49 .. Rec_loss: 12190.93 .. NELBO: 12191.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.36 .. Rec_loss: 5398.76 .. NELBO: 5399.12
****************************************************************************************************
Validation loss decreased (10853.500977 --> 10798.232422).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.72 .. Rec_loss: 12106.67 .. NELBO: 12107.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.22 .. Rec_loss: 5362.37 .. NELBO: 5363.59
****************************************************************************************************
Validation loss decreased (10798.232422 --> 10727.183594).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 2.86 .. Rec_loss: 11999.45 .. NELBO: 12002.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.82 .. Rec_loss: 5326.83 .. NELBO: 5327.65
****************************************************************************************************
Validation loss decreased (10727.183594 --> 10655.300781).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 1.09 .. Rec_loss: 11894.65 .. NELBO: 11895.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.4 .. Rec_loss: 5304.03 .. NELBO: 5304.43
****************************************************************************************************
Validation loss decreased (10655.300781 --> 10608.855469).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.91 .. Rec_loss: 11815.69 .. NELBO: 11816.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.16 .. Rec_loss: 5303.27 .. NELBO: 5303.43
****************************************************************************************************
Validation loss decreased (10608.855469 --> 10606.863281).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.48 .. Rec_loss: 11782.55 .. NELBO: 11783.03
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.47 .. Rec_loss: 5321.47 .. NELBO: 5321.94
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.91 .. Rec_loss: 11785.28 .. NELBO: 11786.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.44 .. Rec_loss: 5341.89 .. NELBO: 5342.33
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 1.88 .. Rec_loss: 11792.79 .. NELBO: 11794.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.16 .. Rec_loss: 5349.53 .. NELBO: 5350.69
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 2.01 .. Rec_loss: 11786.76 .. NELBO: 11788.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.21 .. Rec_loss: 5346.74 .. NELBO: 5347.95
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 4.13 .. Rec_loss: 11772.24 .. NELBO: 11776.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.91 .. Rec_loss: 5337.94 .. NELBO: 5340.85
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.015274157220509057, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.32 .. Rec_loss: 12263.68 .. NELBO: 12264.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.53 .. Rec_loss: 5443.03 .. NELBO: 5444.56
****************************************************************************************************
Validation loss decreased (inf --> 10889.108398).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.93 .. Rec_loss: 12243.21 .. NELBO: 12245.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5427.1 .. NELBO: 5427.12
****************************************************************************************************
Validation loss decreased (10889.108398 --> 10854.241211).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.5 .. Rec_loss: 12191.93 .. NELBO: 12192.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 5399.51 .. NELBO: 5399.9
****************************************************************************************************
Validation loss decreased (10854.241211 --> 10799.800781).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.69 .. Rec_loss: 12108.66 .. NELBO: 12109.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.89 .. Rec_loss: 5363.47 .. NELBO: 5364.36
****************************************************************************************************
Validation loss decreased (10799.800781 --> 10728.715820).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 2.39 .. Rec_loss: 12002.07 .. NELBO: 12004.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.11 .. Rec_loss: 5327.72 .. NELBO: 5328.83
****************************************************************************************************
Validation loss decreased (10728.715820 --> 10657.656250).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 1.36 .. Rec_loss: 11897.28 .. NELBO: 11898.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 5304.5 .. NELBO: 5304.95
****************************************************************************************************
Validation loss decreased (10657.656250 --> 10609.911133).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 1.45 .. Rec_loss: 11817.15 .. NELBO: 11818.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.15 .. Rec_loss: 5302.92 .. NELBO: 5303.07
****************************************************************************************************
Validation loss decreased (10609.911133 --> 10606.129883).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.4 .. Rec_loss: 11782.76 .. NELBO: 11783.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.16 .. Rec_loss: 5320.95 .. NELBO: 5321.11
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.3 .. Rec_loss: 11785.08 .. NELBO: 11785.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 5341.54 .. NELBO: 5341.99
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.88 .. Rec_loss: 11793.86 .. NELBO: 11794.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.07 .. Rec_loss: 5349.86 .. NELBO: 5350.93
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 2.05 .. Rec_loss: 11787.8 .. NELBO: 11789.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.29 .. Rec_loss: 5347.05 .. NELBO: 5348.34
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 3.05 .. Rec_loss: 11772.91 .. NELBO: 11775.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.65 .. Rec_loss: 5339.91 .. NELBO: 5341.56
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  78
model: ETM(
  (t_drop): Dropout(p=0.0568693133743927, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=51, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=51, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=51, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.32 .. Rec_loss: 12263.3 .. NELBO: 12263.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.25 .. Rec_loss: 5442.34 .. NELBO: 5442.59
****************************************************************************************************
Validation loss decreased (inf --> 10885.169922).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.85 .. Rec_loss: 12241.21 .. NELBO: 12243.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5425.81 .. NELBO: 5425.83
****************************************************************************************************
Validation loss decreased (10885.169922 --> 10851.668945).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 12188.75 .. NELBO: 12188.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.16 .. Rec_loss: 5397.87 .. NELBO: 5398.03
****************************************************************************************************
Validation loss decreased (10851.668945 --> 10796.055664).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.93 .. Rec_loss: 12103.75 .. NELBO: 12104.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.37 .. Rec_loss: 5360.82 .. NELBO: 5363.19
****************************************************************************************************
Validation loss decreased (10796.055664 --> 10726.381836).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 4.05 .. Rec_loss: 11995.62 .. NELBO: 11999.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.61 .. Rec_loss: 5326.41 .. NELBO: 5327.02
****************************************************************************************************
Validation loss decreased (10726.381836 --> 10654.028320).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 1.55 .. Rec_loss: 11892.35 .. NELBO: 11893.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.55 .. Rec_loss: 5303.32 .. NELBO: 5304.87
****************************************************************************************************
Validation loss decreased (10654.028320 --> 10609.750000).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 2.56 .. Rec_loss: 11814.1 .. NELBO: 11816.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.26 .. Rec_loss: 5302.48 .. NELBO: 5302.74
****************************************************************************************************
Validation loss decreased (10609.750000 --> 10605.471680).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 1.06 .. Rec_loss: 11781.68 .. NELBO: 11782.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.19 .. Rec_loss: 5320.47 .. NELBO: 5320.66
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.71 .. Rec_loss: 11783.44 .. NELBO: 11784.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.4 .. Rec_loss: 5340.16 .. NELBO: 5340.56
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 1.41 .. Rec_loss: 11791.02 .. NELBO: 11792.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.77 .. Rec_loss: 5346.29 .. NELBO: 5348.06
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 4.2 .. Rec_loss: 11782.15 .. NELBO: 11786.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.21 .. Rec_loss: 5342.2 .. NELBO: 5344.41
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 5.18 .. Rec_loss: 11768.14 .. NELBO: 11773.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.18 .. Rec_loss: 5336.39 .. NELBO: 5338.57
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.0568693133743927, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=51, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=51, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=51, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.31 .. Rec_loss: 12263.1 .. NELBO: 12263.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.27 .. Rec_loss: 5441.87 .. NELBO: 5442.14
****************************************************************************************************
Validation loss decreased (inf --> 10884.274414).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.7 .. Rec_loss: 12239.17 .. NELBO: 12240.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5424.47 .. NELBO: 5424.49
****************************************************************************************************
Validation loss decreased (10884.274414 --> 10848.986328).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12184.28 .. NELBO: 12184.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 5395.59 .. NELBO: 5395.71
****************************************************************************************************
Validation loss decreased (10848.986328 --> 10791.408203).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.61 .. Rec_loss: 12097.6 .. NELBO: 12098.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.48 .. Rec_loss: 5358.51 .. NELBO: 5359.99
****************************************************************************************************
Validation loss decreased (10791.408203 --> 10719.980469).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 2.88 .. Rec_loss: 11988.75 .. NELBO: 11991.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.52 .. Rec_loss: 5323.96 .. NELBO: 5324.48
****************************************************************************************************
Validation loss decreased (10719.980469 --> 10648.964844).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.83 .. Rec_loss: 11885.96 .. NELBO: 11886.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.66 .. Rec_loss: 5302.55 .. NELBO: 5303.21
****************************************************************************************************
Validation loss decreased (10648.964844 --> 10606.418945).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 1.4 .. Rec_loss: 11810.3 .. NELBO: 11811.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.21 .. Rec_loss: 5303.55 .. NELBO: 5303.76
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.67 .. Rec_loss: 11781.18 .. NELBO: 11781.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.15 .. Rec_loss: 5322.89 .. NELBO: 5323.04
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 11785.69 .. NELBO: 11786.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.59 .. Rec_loss: 5341.9 .. NELBO: 5342.49
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 1.99 .. Rec_loss: 11791.62 .. NELBO: 11793.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.5 .. Rec_loss: 5347.54 .. NELBO: 5349.04
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 3.38 .. Rec_loss: 11782.58 .. NELBO: 11785.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.65 .. Rec_loss: 5341.33 .. NELBO: 5343.98
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.0568693133743927, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=51, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=51, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=51, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 12263.08 .. NELBO: 12263.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.36 .. Rec_loss: 5441.67 .. NELBO: 5442.03
****************************************************************************************************
Validation loss decreased (inf --> 10884.056641).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.44 .. Rec_loss: 12238.91 .. NELBO: 12240.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5423.95 .. NELBO: 5423.98
****************************************************************************************************
Validation loss decreased (10884.056641 --> 10847.971680).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 12182.42 .. NELBO: 12182.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.18 .. Rec_loss: 5394.43 .. NELBO: 5394.61
****************************************************************************************************
Validation loss decreased (10847.971680 --> 10789.225586).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.96 .. Rec_loss: 12093.14 .. NELBO: 12094.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.6 .. Rec_loss: 5356.97 .. NELBO: 5358.57
****************************************************************************************************
Validation loss decreased (10789.225586 --> 10717.149414).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 3.06 .. Rec_loss: 11984.58 .. NELBO: 11987.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.47 .. Rec_loss: 5322.71 .. NELBO: 5323.18
****************************************************************************************************
Validation loss decreased (10717.149414 --> 10646.363281).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.91 .. Rec_loss: 11882.26 .. NELBO: 11883.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.1 .. Rec_loss: 5301.91 .. NELBO: 5303.01
****************************************************************************************************
Validation loss decreased (10646.363281 --> 10606.022461).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 1.43 .. Rec_loss: 11807.22 .. NELBO: 11808.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.25 .. Rec_loss: 5304.24 .. NELBO: 5304.49
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.75 .. Rec_loss: 11780.41 .. NELBO: 11781.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5324.5 .. NELBO: 5324.57
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.46 .. Rec_loss: 11786.56 .. NELBO: 11787.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.51 .. Rec_loss: 5341.72 .. NELBO: 5343.23
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 6.05 .. Rec_loss: 11787.69 .. NELBO: 11793.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.36 .. Rec_loss: 5345.91 .. NELBO: 5348.27
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 5.79 .. Rec_loss: 11777.01 .. NELBO: 11782.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.26 .. Rec_loss: 5333.83 .. NELBO: 5340.09
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  79
model: ETM(
  (t_drop): Dropout(p=0.054639464755112443, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=82, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=82, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=82, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.35 .. Rec_loss: 12263.8 .. NELBO: 12264.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.94 .. Rec_loss: 5443.23 .. NELBO: 5444.17
****************************************************************************************************
Validation loss decreased (inf --> 10888.346680).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.58 .. Rec_loss: 12244.11 .. NELBO: 12245.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5427.84 .. NELBO: 5427.85
****************************************************************************************************
Validation loss decreased (10888.346680 --> 10855.710938).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.28 .. Rec_loss: 12194.51 .. NELBO: 12194.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.27 .. Rec_loss: 5400.8 .. NELBO: 5401.07
****************************************************************************************************
Validation loss decreased (10855.710938 --> 10802.143555).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 12113.21 .. NELBO: 12113.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 5365.23 .. NELBO: 5365.34
****************************************************************************************************
Validation loss decreased (10802.143555 --> 10730.684570).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.41 .. Rec_loss: 12009.07 .. NELBO: 12009.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.97 .. Rec_loss: 5328.86 .. NELBO: 5329.83
****************************************************************************************************
Validation loss decreased (10730.684570 --> 10659.644531).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 1.64 .. Rec_loss: 11900.85 .. NELBO: 11902.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.3 .. Rec_loss: 5304.83 .. NELBO: 5305.13
****************************************************************************************************
Validation loss decreased (10659.644531 --> 10610.258789).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 11820.09 .. NELBO: 11820.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5302.53 .. NELBO: 5302.62
****************************************************************************************************
Validation loss decreased (10610.258789 --> 10605.245117).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.17 .. Rec_loss: 11783.63 .. NELBO: 11783.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.36 .. Rec_loss: 5320.07 .. NELBO: 5320.43
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.53 .. Rec_loss: 11784.81 .. NELBO: 11785.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.24 .. Rec_loss: 5341.33 .. NELBO: 5341.57
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 1.42 .. Rec_loss: 11793.61 .. NELBO: 11795.03
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.28 .. Rec_loss: 5349.98 .. NELBO: 5351.26
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 1.92 .. Rec_loss: 11788.31 .. NELBO: 11790.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.63 .. Rec_loss: 5347.33 .. NELBO: 5348.96
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 4.09 .. Rec_loss: 11772.74 .. NELBO: 11776.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.91 .. Rec_loss: 5338.21 .. NELBO: 5342.12
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.054639464755112443, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=82, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=82, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=82, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.3 .. Rec_loss: 12263.59 .. NELBO: 12263.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.18 .. Rec_loss: 5442.78 .. NELBO: 5443.96
****************************************************************************************************
Validation loss decreased (inf --> 10887.922852).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.75 .. Rec_loss: 12242.48 .. NELBO: 12244.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5426.85 .. NELBO: 5426.87
****************************************************************************************************
Validation loss decreased (10887.922852 --> 10853.749023).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.36 .. Rec_loss: 12192.03 .. NELBO: 12192.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.33 .. Rec_loss: 5399.54 .. NELBO: 5399.87
****************************************************************************************************
Validation loss decreased (10853.749023 --> 10799.737305).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.57 .. Rec_loss: 12109.7 .. NELBO: 12110.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.64 .. Rec_loss: 5363.95 .. NELBO: 5364.59
****************************************************************************************************
Validation loss decreased (10799.737305 --> 10729.173828).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 1.61 .. Rec_loss: 12005.32 .. NELBO: 12006.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.3 .. Rec_loss: 5328.15 .. NELBO: 5329.45
****************************************************************************************************
Validation loss decreased (10729.173828 --> 10658.894531).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 1.54 .. Rec_loss: 11900.15 .. NELBO: 11901.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.24 .. Rec_loss: 5304.61 .. NELBO: 5304.85
****************************************************************************************************
Validation loss decreased (10658.894531 --> 10609.701172).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 1.35 .. Rec_loss: 11819.85 .. NELBO: 11821.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5302.38 .. NELBO: 5302.44
****************************************************************************************************
Validation loss decreased (10609.701172 --> 10604.881836).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.19 .. Rec_loss: 11783.76 .. NELBO: 11783.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.44 .. Rec_loss: 5319.73 .. NELBO: 5320.17
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.64 .. Rec_loss: 11784.78 .. NELBO: 11785.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.17 .. Rec_loss: 5341.05 .. NELBO: 5341.22
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.64 .. Rec_loss: 11794.07 .. NELBO: 11794.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.22 .. Rec_loss: 5348.42 .. NELBO: 5350.64
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 3.82 .. Rec_loss: 11785.89 .. NELBO: 11789.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.31 .. Rec_loss: 5347.05 .. NELBO: 5348.36
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 2.82 .. Rec_loss: 11772.83 .. NELBO: 11775.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.54 .. Rec_loss: 5337.69 .. NELBO: 5341.23
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.054639464755112443, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=82, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=82, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=82, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.37 .. Rec_loss: 12263.85 .. NELBO: 12264.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.81 .. Rec_loss: 5443.18 .. NELBO: 5443.99
****************************************************************************************************
Validation loss decreased (inf --> 10887.991211).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.66 .. Rec_loss: 12243.77 .. NELBO: 12245.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5427.82 .. NELBO: 5427.84
****************************************************************************************************
Validation loss decreased (10887.991211 --> 10855.672852).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.26 .. Rec_loss: 12194.83 .. NELBO: 12195.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.28 .. Rec_loss: 5401.07 .. NELBO: 5401.35
****************************************************************************************************
Validation loss decreased (10855.672852 --> 10802.697266).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.44 .. Rec_loss: 12114.22 .. NELBO: 12114.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 5365.74 .. NELBO: 5365.96
****************************************************************************************************
Validation loss decreased (10802.697266 --> 10731.919922).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.6 .. Rec_loss: 12010.54 .. NELBO: 12011.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.12 .. Rec_loss: 5329.48 .. NELBO: 5330.6
****************************************************************************************************
Validation loss decreased (10731.919922 --> 10661.202148).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 1.79 .. Rec_loss: 11902.64 .. NELBO: 11904.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.29 .. Rec_loss: 5305.18 .. NELBO: 5305.47
****************************************************************************************************
Validation loss decreased (10661.202148 --> 10610.937500).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.47 .. Rec_loss: 11821.41 .. NELBO: 11821.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5302.32 .. NELBO: 5302.38
****************************************************************************************************
Validation loss decreased (10610.937500 --> 10604.767578).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.26 .. Rec_loss: 11783.63 .. NELBO: 11783.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.64 .. Rec_loss: 5319.39 .. NELBO: 5320.03
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 1.0 .. Rec_loss: 11784.68 .. NELBO: 11785.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.16 .. Rec_loss: 5341.28 .. NELBO: 5341.44
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 1.45 .. Rec_loss: 11794.06 .. NELBO: 11795.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.58 .. Rec_loss: 5349.53 .. NELBO: 5351.11
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 2.38 .. Rec_loss: 11787.44 .. NELBO: 11789.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.32 .. Rec_loss: 5347.72 .. NELBO: 5349.04
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 3.11 .. Rec_loss: 11773.76 .. NELBO: 11776.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.41 .. Rec_loss: 5339.04 .. NELBO: 5342.45
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  80
model: ETM(
  (t_drop): Dropout(p=0.06183929848585549, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=70, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=70, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=70, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 73.32 .. Rec_loss: 12263.73 .. NELBO: 12337.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.84 .. Rec_loss: 5443.63 .. NELBO: 5450.47
****************************************************************************************************
Validation loss decreased (inf --> 10900.948242).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.37 .. Rec_loss: 12247.22 .. NELBO: 12254.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.33 .. Rec_loss: 5431.36 .. NELBO: 5431.69
****************************************************************************************************
Validation loss decreased (10900.948242 --> 10863.393555).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.48 .. Rec_loss: 12207.13 .. NELBO: 12207.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5407.96 .. NELBO: 5408.02
****************************************************************************************************
Validation loss decreased (10863.393555 --> 10816.040039).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 12135.23 .. NELBO: 12135.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5374.95 .. NELBO: 5374.97
****************************************************************************************************
Validation loss decreased (10816.040039 --> 10749.944336).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12037.84 .. NELBO: 12037.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5338.47 .. NELBO: 5338.49
****************************************************************************************************
Validation loss decreased (10749.944336 --> 10676.963867).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11929.69 .. NELBO: 11929.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5309.53 .. NELBO: 5309.55
****************************************************************************************************
Validation loss decreased (10676.963867 --> 10619.099609).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11838.49 .. NELBO: 11838.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.26 .. NELBO: 5300.28
****************************************************************************************************
Validation loss decreased (10619.099609 --> 10600.550781).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11787.66 .. NELBO: 11787.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.9 .. NELBO: 5313.92
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.93 .. NELBO: 11781.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.2 .. NELBO: 5337.22
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11794.32 .. NELBO: 11794.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.86 .. NELBO: 5351.88
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.21 .. NELBO: 11796.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.88 .. NELBO: 5352.9
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11783.48 .. NELBO: 11783.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5346.54 .. NELBO: 5346.55
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06183929848585549, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=70, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=70, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=70, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 81.99 .. Rec_loss: 12263.7 .. NELBO: 12345.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.52 .. Rec_loss: 5443.67 .. NELBO: 5451.19
****************************************************************************************************
Validation loss decreased (inf --> 10902.366211).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.18 .. Rec_loss: 12247.25 .. NELBO: 12255.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.4 .. Rec_loss: 5431.1 .. NELBO: 5431.5
****************************************************************************************************
Validation loss decreased (10902.366211 --> 10863.003906).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.56 .. Rec_loss: 12206.13 .. NELBO: 12206.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5407.69 .. NELBO: 5407.75
****************************************************************************************************
Validation loss decreased (10863.003906 --> 10815.514648).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12134.55 .. NELBO: 12134.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5374.84 .. NELBO: 5374.86
****************************************************************************************************
Validation loss decreased (10815.514648 --> 10749.716797).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12037.52 .. NELBO: 12037.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5338.57 .. NELBO: 5338.59
****************************************************************************************************
Validation loss decreased (10749.716797 --> 10677.174805).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11930.13 .. NELBO: 11930.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5309.69 .. NELBO: 5309.71
****************************************************************************************************
Validation loss decreased (10677.174805 --> 10619.403320).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11837.58 .. NELBO: 11837.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.28 .. NELBO: 5300.3
****************************************************************************************************
Validation loss decreased (10619.403320 --> 10600.600586).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11787.14 .. NELBO: 11787.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.8 .. NELBO: 5313.82
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.29 .. NELBO: 11781.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.16 .. NELBO: 5337.18
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11794.12 .. NELBO: 11794.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.95 .. NELBO: 5351.97
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.13 .. NELBO: 11796.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.04 .. NELBO: 5353.06
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11783.55 .. NELBO: 11783.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.75 .. NELBO: 5346.77
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06183929848585549, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=70, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=70, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=70, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 95.2 .. Rec_loss: 12264.04 .. NELBO: 12359.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.27 .. Rec_loss: 5444.0 .. NELBO: 5452.27
****************************************************************************************************
Validation loss decreased (inf --> 10904.541016).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.85 .. Rec_loss: 12248.66 .. NELBO: 12257.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.47 .. Rec_loss: 5432.43 .. NELBO: 5432.9
****************************************************************************************************
Validation loss decreased (10904.541016 --> 10865.790039).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.71 .. Rec_loss: 12209.98 .. NELBO: 12210.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 5409.98 .. NELBO: 5410.09
****************************************************************************************************
Validation loss decreased (10865.790039 --> 10820.177734).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.16 .. Rec_loss: 12141.5 .. NELBO: 12141.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5377.77 .. NELBO: 5377.8
****************************************************************************************************
Validation loss decreased (10820.177734 --> 10755.600586).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 12045.5 .. NELBO: 12045.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5341.46 .. NELBO: 5341.48
****************************************************************************************************
Validation loss decreased (10755.600586 --> 10682.958008).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11937.96 .. NELBO: 11938.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.53 .. NELBO: 5311.55
****************************************************************************************************
Validation loss decreased (10682.958008 --> 10623.103516).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11844.1 .. NELBO: 11844.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5300.24 .. NELBO: 5300.28
****************************************************************************************************
Validation loss decreased (10623.103516 --> 10600.547852).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 11788.89 .. NELBO: 11788.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5312.19 .. NELBO: 5312.24
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 11780.45 .. NELBO: 11780.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5335.46 .. NELBO: 5335.51
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 11792.96 .. NELBO: 11793.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5351.34 .. NELBO: 5351.38
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 11796.05 .. NELBO: 11796.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5353.43 .. NELBO: 5353.47
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 11784.9 .. NELBO: 11784.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5347.44 .. NELBO: 5347.47
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  81
model: ETM(
  (t_drop): Dropout(p=0.06475895414278507, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=73, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=73, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=73, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 79.67 .. Rec_loss: 12263.92 .. NELBO: 12343.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.33 .. Rec_loss: 5443.74 .. NELBO: 5451.07
****************************************************************************************************
Validation loss decreased (inf --> 10902.153320).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.91 .. Rec_loss: 12247.45 .. NELBO: 12255.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 5431.38 .. NELBO: 5431.76
****************************************************************************************************
Validation loss decreased (10902.153320 --> 10863.515625).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.55 .. Rec_loss: 12206.97 .. NELBO: 12207.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5408.23 .. NELBO: 5408.3
****************************************************************************************************
Validation loss decreased (10863.515625 --> 10816.589844).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12135.97 .. NELBO: 12136.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5375.56 .. NELBO: 5375.58
****************************************************************************************************
Validation loss decreased (10816.589844 --> 10751.163086).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12039.19 .. NELBO: 12039.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5339.3 .. NELBO: 5339.32
****************************************************************************************************
Validation loss decreased (10751.163086 --> 10678.633789).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11931.1 .. NELBO: 11931.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.24 .. NELBO: 5310.26
****************************************************************************************************
Validation loss decreased (10678.633789 --> 10620.524414).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11839.0 .. NELBO: 11839.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.54 .. NELBO: 5300.56
****************************************************************************************************
Validation loss decreased (10620.524414 --> 10601.115234).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11787.43 .. NELBO: 11787.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.82 .. NELBO: 5313.84
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.06 .. NELBO: 11781.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.16 .. NELBO: 5337.18
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.3 .. NELBO: 11793.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.12 .. NELBO: 5352.14
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.71 .. NELBO: 11795.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.41 .. NELBO: 5353.43
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11783.68 .. NELBO: 11783.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.19 .. NELBO: 5347.21
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06475895414278507, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=73, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=73, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=73, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 89.1 .. Rec_loss: 12264.18 .. NELBO: 12353.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.22 .. Rec_loss: 5443.63 .. NELBO: 5451.85
****************************************************************************************************
Validation loss decreased (inf --> 10903.714844).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.92 .. Rec_loss: 12246.8 .. NELBO: 12255.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 5430.54 .. NELBO: 5430.97
****************************************************************************************************
Validation loss decreased (10903.714844 --> 10861.936523).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.6 .. Rec_loss: 12204.27 .. NELBO: 12204.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5406.49 .. NELBO: 5406.56
****************************************************************************************************
Validation loss decreased (10861.936523 --> 10813.106445).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12131.17 .. NELBO: 12131.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5373.06 .. NELBO: 5373.08
****************************************************************************************************
Validation loss decreased (10813.106445 --> 10746.162109).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12032.77 .. NELBO: 12032.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.73 .. NELBO: 5336.75
****************************************************************************************************
Validation loss decreased (10746.162109 --> 10673.488281).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11924.68 .. NELBO: 11924.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5308.6 .. NELBO: 5308.61
****************************************************************************************************
Validation loss decreased (10673.488281 --> 10617.218750).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11834.69 .. NELBO: 11834.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.51 .. NELBO: 5300.52
****************************************************************************************************
Validation loss decreased (10617.218750 --> 10601.048828).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11786.53 .. NELBO: 11786.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5314.96 .. NELBO: 5314.97
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.94 .. NELBO: 11781.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5338.07 .. NELBO: 5338.08
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11794.42 .. NELBO: 11794.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5352.07 .. NELBO: 5352.08
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11794.59 .. NELBO: 11794.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5352.68 .. NELBO: 5352.69
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11782.45 .. NELBO: 11782.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5346.32 .. NELBO: 5346.33
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06475895414278507, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=73, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=73, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=73, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 84.93 .. Rec_loss: 12264.34 .. NELBO: 12349.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.33 .. Rec_loss: 5444.48 .. NELBO: 5452.81
****************************************************************************************************
Validation loss decreased (inf --> 10905.606445).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 9.09 .. Rec_loss: 12249.83 .. NELBO: 12258.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.42 .. Rec_loss: 5433.31 .. NELBO: 5433.73
****************************************************************************************************
Validation loss decreased (10905.606445 --> 10867.455078).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.59 .. Rec_loss: 12213.15 .. NELBO: 12213.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5411.82 .. NELBO: 5411.89
****************************************************************************************************
Validation loss decreased (10867.455078 --> 10823.782227).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12146.63 .. NELBO: 12146.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5380.46 .. NELBO: 5380.49
****************************************************************************************************
Validation loss decreased (10823.782227 --> 10760.979492).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12053.09 .. NELBO: 12053.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5344.36 .. NELBO: 5344.38
****************************************************************************************************
Validation loss decreased (10760.979492 --> 10688.757812).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11945.96 .. NELBO: 11946.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.54 .. NELBO: 5313.56
****************************************************************************************************
Validation loss decreased (10688.757812 --> 10627.105469).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11849.43 .. NELBO: 11849.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.38 .. NELBO: 5300.4
****************************************************************************************************
Validation loss decreased (10627.105469 --> 10600.803711).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11790.93 .. NELBO: 11790.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.68 .. NELBO: 5310.7
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11779.21 .. NELBO: 11779.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5334.01 .. NELBO: 5334.03
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.04 .. NELBO: 11792.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.18 .. NELBO: 5351.2
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11797.24 .. NELBO: 11797.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5354.29 .. NELBO: 5354.31
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11786.26 .. NELBO: 11786.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5348.57 .. NELBO: 5348.59
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  82
model: ETM(
  (t_drop): Dropout(p=0.06301607589253923, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=70, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=70, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=70, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 70.33 .. Rec_loss: 12264.19 .. NELBO: 12334.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.91 .. Rec_loss: 5444.19 .. NELBO: 5451.1
****************************************************************************************************
Validation loss decreased (inf --> 10902.192383).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.51 .. Rec_loss: 12248.29 .. NELBO: 12255.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.31 .. Rec_loss: 5431.95 .. NELBO: 5432.26
****************************************************************************************************
Validation loss decreased (10902.192383 --> 10864.500977).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 12208.52 .. NELBO: 12208.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5408.98 .. NELBO: 5409.03
****************************************************************************************************
Validation loss decreased (10864.500977 --> 10818.062500).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 12138.69 .. NELBO: 12138.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5376.44 .. NELBO: 5376.46
****************************************************************************************************
Validation loss decreased (10818.062500 --> 10752.910156).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12041.17 .. NELBO: 12041.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5340.15 .. NELBO: 5340.16
****************************************************************************************************
Validation loss decreased (10752.910156 --> 10680.321289).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11933.25 .. NELBO: 11933.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5310.78 .. NELBO: 5310.79
****************************************************************************************************
Validation loss decreased (10680.321289 --> 10621.591797).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11840.97 .. NELBO: 11841.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.54 .. NELBO: 5300.56
****************************************************************************************************
Validation loss decreased (10621.591797 --> 10601.107422).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11788.29 .. NELBO: 11788.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.33 .. NELBO: 5313.35
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.17 .. NELBO: 11781.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.54 .. NELBO: 5336.56
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11793.82 .. NELBO: 11793.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.69 .. NELBO: 5351.71
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.32 .. NELBO: 11796.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.13 .. NELBO: 5353.15
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11783.89 .. NELBO: 11783.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.96 .. NELBO: 5346.98
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06301607589253923, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=70, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=70, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=70, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 75.96 .. Rec_loss: 12263.55 .. NELBO: 12339.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.81 .. Rec_loss: 5443.29 .. NELBO: 5450.1
****************************************************************************************************
Validation loss decreased (inf --> 10900.200195).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.49 .. Rec_loss: 12245.58 .. NELBO: 12253.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 5429.67 .. NELBO: 5430.1
****************************************************************************************************
Validation loss decreased (10900.200195 --> 10860.211914).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.63 .. Rec_loss: 12201.43 .. NELBO: 12202.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5404.75 .. NELBO: 5404.83
****************************************************************************************************
Validation loss decreased (10860.211914 --> 10809.652344).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12125.32 .. NELBO: 12125.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5370.66 .. NELBO: 5370.68
****************************************************************************************************
Validation loss decreased (10809.652344 --> 10741.378906).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12024.4 .. NELBO: 12024.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5334.38 .. NELBO: 5334.4
****************************************************************************************************
Validation loss decreased (10741.378906 --> 10668.792969).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11916.76 .. NELBO: 11916.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5307.41 .. NELBO: 5307.43
****************************************************************************************************
Validation loss decreased (10668.792969 --> 10614.847656).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11828.79 .. NELBO: 11828.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5301.32 .. NELBO: 5301.34
****************************************************************************************************
Validation loss decreased (10614.847656 --> 10602.681641).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11784.76 .. NELBO: 11784.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5317.16 .. NELBO: 5317.18
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11783.26 .. NELBO: 11783.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5339.93 .. NELBO: 5339.95
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.4 .. NELBO: 11795.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.57 .. NELBO: 5352.59
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11794.73 .. NELBO: 11794.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.15 .. NELBO: 5352.17
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.45 .. NELBO: 11781.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5345.45 .. NELBO: 5345.47
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06301607589253923, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=70, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=70, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=70, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 81.38 .. Rec_loss: 12264.12 .. NELBO: 12345.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.77 .. Rec_loss: 5444.14 .. NELBO: 5451.91
****************************************************************************************************
Validation loss decreased (inf --> 10903.819336).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.42 .. Rec_loss: 12249.2 .. NELBO: 12257.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 5432.62 .. NELBO: 5433.05
****************************************************************************************************
Validation loss decreased (10903.819336 --> 10866.094727).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.61 .. Rec_loss: 12211.56 .. NELBO: 12212.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5410.44 .. NELBO: 5410.51
****************************************************************************************************
Validation loss decreased (10866.094727 --> 10821.031250).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12143.87 .. NELBO: 12143.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5378.63 .. NELBO: 5378.66
****************************************************************************************************
Validation loss decreased (10821.031250 --> 10757.318359).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12049.77 .. NELBO: 12049.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5342.55 .. NELBO: 5342.57
****************************************************************************************************
Validation loss decreased (10757.318359 --> 10685.144531).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11943.0 .. NELBO: 11943.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.3 .. NELBO: 5312.32
****************************************************************************************************
Validation loss decreased (10685.144531 --> 10624.631836).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11847.94 .. NELBO: 11847.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.08 .. NELBO: 5300.1
****************************************************************************************************
Validation loss decreased (10624.631836 --> 10600.188477).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11791.1 .. NELBO: 11791.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.0 .. NELBO: 5311.02
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.42 .. NELBO: 11780.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5334.06 .. NELBO: 5334.08
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11791.68 .. NELBO: 11791.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.68 .. NELBO: 5350.7
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.57 .. NELBO: 11795.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.58 .. NELBO: 5353.6
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11785.5 .. NELBO: 11785.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.96 .. NELBO: 5347.98
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  83
model: ETM(
  (t_drop): Dropout(p=0.012104404851198026, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=54, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=54, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=54, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 72.56 .. Rec_loss: 12263.62 .. NELBO: 12336.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.41 .. Rec_loss: 5443.67 .. NELBO: 5451.08
****************************************************************************************************
Validation loss decreased (inf --> 10902.146484).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.95 .. Rec_loss: 12247.25 .. NELBO: 12255.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 5431.23 .. NELBO: 5431.68
****************************************************************************************************
Validation loss decreased (10902.146484 --> 10863.363281).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.67 .. Rec_loss: 12206.88 .. NELBO: 12207.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 5407.87 .. NELBO: 5407.98
****************************************************************************************************
Validation loss decreased (10863.363281 --> 10815.953125).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.17 .. Rec_loss: 12134.71 .. NELBO: 12134.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5375.08 .. NELBO: 5375.12
****************************************************************************************************
Validation loss decreased (10815.953125 --> 10750.237305).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 12038.45 .. NELBO: 12038.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5338.83 .. NELBO: 5338.86
****************************************************************************************************
Validation loss decreased (10750.237305 --> 10677.720703).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 11930.25 .. NELBO: 11930.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5309.83 .. NELBO: 5309.88
****************************************************************************************************
Validation loss decreased (10677.720703 --> 10619.760742).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 11838.73 .. NELBO: 11838.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5300.17 .. NELBO: 5300.26
****************************************************************************************************
Validation loss decreased (10619.760742 --> 10600.523438).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.2 .. Rec_loss: 11787.23 .. NELBO: 11787.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 5313.42 .. NELBO: 5313.54
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.25 .. Rec_loss: 11780.73 .. NELBO: 11780.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 5336.66 .. NELBO: 5336.78
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.23 .. Rec_loss: 11793.92 .. NELBO: 11794.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5351.54 .. NELBO: 5351.62
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 11795.77 .. NELBO: 11795.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5352.89 .. NELBO: 5352.93
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 11783.12 .. NELBO: 11783.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5346.86 .. NELBO: 5346.89
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.012104404851198026, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=54, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=54, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=54, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 73.36 .. Rec_loss: 12263.4 .. NELBO: 12336.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.84 .. Rec_loss: 5443.06 .. NELBO: 5449.9
****************************************************************************************************
Validation loss decreased (inf --> 10899.794922).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.38 .. Rec_loss: 12245.34 .. NELBO: 12252.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 5429.93 .. NELBO: 5430.36
****************************************************************************************************
Validation loss decreased (10899.794922 --> 10860.720703).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.61 .. Rec_loss: 12202.31 .. NELBO: 12202.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5405.75 .. NELBO: 5405.82
****************************************************************************************************
Validation loss decreased (10860.720703 --> 10811.625000).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12127.93 .. NELBO: 12128.03
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5372.18 .. NELBO: 5372.2
****************************************************************************************************
Validation loss decreased (10811.625000 --> 10744.393555).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12029.7 .. NELBO: 12029.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5335.77 .. NELBO: 5335.78
****************************************************************************************************
Validation loss decreased (10744.393555 --> 10671.571289).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11920.71 .. NELBO: 11920.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5307.87 .. NELBO: 5307.88
****************************************************************************************************
Validation loss decreased (10671.571289 --> 10615.763672).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11831.17 .. NELBO: 11831.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.55 .. NELBO: 5300.56
****************************************************************************************************
Validation loss decreased (10615.763672 --> 10601.125977).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11783.66 .. NELBO: 11783.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5316.05 .. NELBO: 5316.06
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.39 .. NELBO: 11781.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5339.77 .. NELBO: 5339.78
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11794.85 .. NELBO: 11794.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.57 .. NELBO: 5353.58
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.17 .. NELBO: 11796.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.57 .. NELBO: 5353.58
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11782.33 .. NELBO: 11782.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5346.69 .. NELBO: 5346.7
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.012104404851198026, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=54, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=54, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=54, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 69.34 .. Rec_loss: 12264.32 .. NELBO: 12333.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.76 .. Rec_loss: 5443.92 .. NELBO: 5450.68
****************************************************************************************************
Validation loss decreased (inf --> 10901.364258).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.15 .. Rec_loss: 12248.68 .. NELBO: 12255.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.4 .. Rec_loss: 5432.53 .. NELBO: 5432.93
****************************************************************************************************
Validation loss decreased (10901.364258 --> 10865.858398).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.59 .. Rec_loss: 12211.4 .. NELBO: 12211.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5410.62 .. NELBO: 5410.7
****************************************************************************************************
Validation loss decreased (10865.858398 --> 10821.388672).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12143.87 .. NELBO: 12143.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5379.04 .. NELBO: 5379.07
****************************************************************************************************
Validation loss decreased (10821.388672 --> 10758.121094).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12050.45 .. NELBO: 12050.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5342.98 .. NELBO: 5343.0
****************************************************************************************************
Validation loss decreased (10758.121094 --> 10685.996094).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11943.08 .. NELBO: 11943.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5312.57 .. NELBO: 5312.6
****************************************************************************************************
Validation loss decreased (10685.996094 --> 10625.194336).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11847.4 .. NELBO: 11847.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5300.13 .. NELBO: 5300.17
****************************************************************************************************
Validation loss decreased (10625.194336 --> 10600.321289).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 11790.4 .. NELBO: 11790.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5310.95 .. NELBO: 5310.99
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 11779.43 .. NELBO: 11779.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5334.18 .. NELBO: 5334.22
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 11792.02 .. NELBO: 11792.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5350.98 .. NELBO: 5351.02
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 11795.73 .. NELBO: 11795.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5353.83 .. NELBO: 5353.86
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11785.33 .. NELBO: 11785.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5348.08 .. NELBO: 5348.11
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  84
model: ETM(
  (t_drop): Dropout(p=0.06053040908873156, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=93, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=93, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=93, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 102.37 .. Rec_loss: 12264.27 .. NELBO: 12366.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.73 .. Rec_loss: 5443.92 .. NELBO: 5452.65
****************************************************************************************************
Validation loss decreased (inf --> 10905.307617).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 9.48 .. Rec_loss: 12248.2 .. NELBO: 12257.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.55 .. Rec_loss: 5431.69 .. NELBO: 5432.24
****************************************************************************************************
Validation loss decreased (10905.307617 --> 10864.496094).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.79 .. Rec_loss: 12208.48 .. NELBO: 12209.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5408.45 .. NELBO: 5408.54
****************************************************************************************************
Validation loss decreased (10864.496094 --> 10817.076172).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 12137.27 .. NELBO: 12137.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5375.68 .. NELBO: 5375.71
****************************************************************************************************
Validation loss decreased (10817.076172 --> 10751.417969).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 12040.32 .. NELBO: 12040.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5339.36 .. NELBO: 5339.38
****************************************************************************************************
Validation loss decreased (10751.417969 --> 10678.763672).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11933.31 .. NELBO: 11933.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.23 .. NELBO: 5310.25
****************************************************************************************************
Validation loss decreased (10678.763672 --> 10620.500000).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11840.87 .. NELBO: 11840.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.35 .. NELBO: 5300.37
****************************************************************************************************
Validation loss decreased (10620.500000 --> 10600.743164).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11788.62 .. NELBO: 11788.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.29 .. NELBO: 5313.31
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.92 .. NELBO: 11781.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.33 .. NELBO: 5336.35
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.63 .. NELBO: 11793.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.31 .. NELBO: 5351.33
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.51 .. NELBO: 11795.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.8 .. NELBO: 5352.82
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11783.73 .. NELBO: 11783.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.73 .. NELBO: 5346.75
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06053040908873156, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=93, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=93, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=93, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 97.58 .. Rec_loss: 12264.21 .. NELBO: 12361.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.74 .. Rec_loss: 5444.02 .. NELBO: 5452.76
****************************************************************************************************
Validation loss decreased (inf --> 10905.520508).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 9.47 .. Rec_loss: 12247.99 .. NELBO: 12257.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.49 .. Rec_loss: 5431.06 .. NELBO: 5431.55
****************************************************************************************************
Validation loss decreased (10905.520508 --> 10863.094727).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.7 .. Rec_loss: 12206.3 .. NELBO: 12207.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5407.32 .. NELBO: 5407.41
****************************************************************************************************
Validation loss decreased (10863.094727 --> 10814.817383).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 12134.52 .. NELBO: 12134.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5374.1 .. NELBO: 5374.13
****************************************************************************************************
Validation loss decreased (10814.817383 --> 10748.263672).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 12036.21 .. NELBO: 12036.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.67 .. NELBO: 5337.69
****************************************************************************************************
Validation loss decreased (10748.263672 --> 10675.377930).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11928.88 .. NELBO: 11928.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5308.98 .. NELBO: 5309.0
****************************************************************************************************
Validation loss decreased (10675.377930 --> 10618.009766).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11838.08 .. NELBO: 11838.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.04 .. NELBO: 5300.06
****************************************************************************************************
Validation loss decreased (10618.009766 --> 10600.120117).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11787.97 .. NELBO: 11788.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.86 .. NELBO: 5313.88
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11782.2 .. NELBO: 11782.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.07 .. NELBO: 5337.09
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.95 .. NELBO: 11793.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.57 .. NELBO: 5351.59
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.26 .. NELBO: 11795.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.57 .. NELBO: 5352.59
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11783.12 .. NELBO: 11783.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.34 .. NELBO: 5346.36
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06053040908873156, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=93, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=93, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=93, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 93.8 .. Rec_loss: 12264.49 .. NELBO: 12358.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.36 .. Rec_loss: 5444.3 .. NELBO: 5452.66
****************************************************************************************************
Validation loss decreased (inf --> 10905.321289).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 9.04 .. Rec_loss: 12249.27 .. NELBO: 12258.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 5432.5 .. NELBO: 5432.93
****************************************************************************************************
Validation loss decreased (10905.321289 --> 10865.867188).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.62 .. Rec_loss: 12210.36 .. NELBO: 12210.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5409.98 .. NELBO: 5410.06
****************************************************************************************************
Validation loss decreased (10865.867188 --> 10820.116211).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12141.62 .. NELBO: 12141.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5377.66 .. NELBO: 5377.69
****************************************************************************************************
Validation loss decreased (10820.116211 --> 10755.389648).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 12045.52 .. NELBO: 12045.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5341.22 .. NELBO: 5341.24
****************************************************************************************************
Validation loss decreased (10755.389648 --> 10682.482422).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11938.05 .. NELBO: 11938.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.21 .. NELBO: 5311.23
****************************************************************************************************
Validation loss decreased (10682.482422 --> 10622.464844).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11843.47 .. NELBO: 11843.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.01 .. NELBO: 5300.03
****************************************************************************************************
Validation loss decreased (10622.464844 --> 10600.059570).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11789.24 .. NELBO: 11789.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.12 .. NELBO: 5312.14
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11780.61 .. NELBO: 11780.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.48 .. NELBO: 5335.5
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11793.71 .. NELBO: 11793.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.22 .. NELBO: 5351.24
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11795.92 .. NELBO: 11795.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.21 .. NELBO: 5353.23
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11784.7 .. NELBO: 11784.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.26 .. NELBO: 5347.28
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  85
model: ETM(
  (t_drop): Dropout(p=0.07090350315722976, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 80.79 .. Rec_loss: 12263.71 .. NELBO: 12344.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.64 .. Rec_loss: 5443.36 .. NELBO: 5451.0
****************************************************************************************************
Validation loss decreased (inf --> 10901.989258).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.33 .. Rec_loss: 12245.72 .. NELBO: 12254.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.41 .. Rec_loss: 5429.99 .. NELBO: 5430.4
****************************************************************************************************
Validation loss decreased (10901.989258 --> 10860.793945).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.58 .. Rec_loss: 12202.11 .. NELBO: 12202.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5405.6 .. NELBO: 5405.66
****************************************************************************************************
Validation loss decreased (10860.793945 --> 10811.333984).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12127.87 .. NELBO: 12127.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5372.01 .. NELBO: 5372.03
****************************************************************************************************
Validation loss decreased (10811.333984 --> 10744.073242).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12029.15 .. NELBO: 12029.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.81 .. NELBO: 5335.83
****************************************************************************************************
Validation loss decreased (10744.073242 --> 10671.650391).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11921.35 .. NELBO: 11921.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5308.19 .. NELBO: 5308.21
****************************************************************************************************
Validation loss decreased (10671.650391 --> 10616.409180).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11832.34 .. NELBO: 11832.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.85 .. NELBO: 5300.87
****************************************************************************************************
Validation loss decreased (10616.409180 --> 10601.728516).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11785.96 .. NELBO: 11785.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5315.77 .. NELBO: 5315.79
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11782.51 .. NELBO: 11782.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5338.7 .. NELBO: 5338.72
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11794.52 .. NELBO: 11794.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.14 .. NELBO: 5352.16
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11794.89 .. NELBO: 11794.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.37 .. NELBO: 5352.39
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.88 .. NELBO: 11781.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5345.88 .. NELBO: 5345.9
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.07090350315722976, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 82.09 .. Rec_loss: 12264.59 .. NELBO: 12346.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.29 .. Rec_loss: 5444.58 .. NELBO: 5452.87
****************************************************************************************************
Validation loss decreased (inf --> 10905.741211).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 9.02 .. Rec_loss: 12250.4 .. NELBO: 12259.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.4 .. Rec_loss: 5433.27 .. NELBO: 5433.67
****************************************************************************************************
Validation loss decreased (10905.741211 --> 10867.349609).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.57 .. Rec_loss: 12213.34 .. NELBO: 12213.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5411.48 .. NELBO: 5411.54
****************************************************************************************************
Validation loss decreased (10867.349609 --> 10823.083984).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12146.53 .. NELBO: 12146.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5379.83 .. NELBO: 5379.85
****************************************************************************************************
Validation loss decreased (10823.083984 --> 10759.701172).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12053.15 .. NELBO: 12053.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5343.57 .. NELBO: 5343.59
****************************************************************************************************
Validation loss decreased (10759.701172 --> 10687.178711).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11945.99 .. NELBO: 11946.03
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.88 .. NELBO: 5312.9
****************************************************************************************************
Validation loss decreased (10687.178711 --> 10625.785156).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11850.2 .. NELBO: 11850.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.07 .. NELBO: 5300.09
****************************************************************************************************
Validation loss decreased (10625.785156 --> 10600.180664).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11792.38 .. NELBO: 11792.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.52 .. NELBO: 5310.54
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11780.79 .. NELBO: 11780.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5333.51 .. NELBO: 5333.53
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11792.0 .. NELBO: 11792.03
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.27 .. NELBO: 5350.29
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.37 .. NELBO: 11796.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.34 .. NELBO: 5353.36
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11785.75 .. NELBO: 11785.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.83 .. NELBO: 5347.85
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.07090350315722976, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 87.38 .. Rec_loss: 12264.25 .. NELBO: 12351.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.9 .. Rec_loss: 5444.37 .. NELBO: 5452.27
****************************************************************************************************
Validation loss decreased (inf --> 10904.553711).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.66 .. Rec_loss: 12249.68 .. NELBO: 12258.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 5433.05 .. NELBO: 5433.48
****************************************************************************************************
Validation loss decreased (10904.553711 --> 10866.965820).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.6 .. Rec_loss: 12212.16 .. NELBO: 12212.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5411.06 .. NELBO: 5411.12
****************************************************************************************************
Validation loss decreased (10866.965820 --> 10822.239258).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 12144.45 .. NELBO: 12144.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5379.27 .. NELBO: 5379.29
****************************************************************************************************
Validation loss decreased (10822.239258 --> 10758.590820).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12049.79 .. NELBO: 12049.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5343.06 .. NELBO: 5343.08
****************************************************************************************************
Validation loss decreased (10758.590820 --> 10686.155273).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11943.16 .. NELBO: 11943.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5312.65 .. NELBO: 5312.66
****************************************************************************************************
Validation loss decreased (10686.155273 --> 10625.330078).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11847.36 .. NELBO: 11847.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.35 .. NELBO: 5300.36
****************************************************************************************************
Validation loss decreased (10625.330078 --> 10600.731445).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11790.84 .. NELBO: 11790.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.29 .. NELBO: 5311.31
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11780.27 .. NELBO: 11780.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5334.41 .. NELBO: 5334.43
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11792.11 .. NELBO: 11792.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.95 .. NELBO: 5350.97
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.03 .. NELBO: 11796.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.68 .. NELBO: 5353.7
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11785.23 .. NELBO: 11785.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5347.93 .. NELBO: 5347.94
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  86
model: ETM(
  (t_drop): Dropout(p=0.059329539211297806, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 79.06 .. Rec_loss: 12264.23 .. NELBO: 12343.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.43 .. Rec_loss: 5443.94 .. NELBO: 5451.37
****************************************************************************************************
Validation loss decreased (inf --> 10902.739258).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.04 .. Rec_loss: 12248.08 .. NELBO: 12256.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.35 .. Rec_loss: 5431.86 .. NELBO: 5432.21
****************************************************************************************************
Validation loss decreased (10902.739258 --> 10864.418945).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.5 .. Rec_loss: 12208.54 .. NELBO: 12209.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5409.27 .. NELBO: 5409.33
****************************************************************************************************
Validation loss decreased (10864.418945 --> 10818.658203).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 12139.38 .. NELBO: 12139.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5377.04 .. NELBO: 5377.06
****************************************************************************************************
Validation loss decreased (10818.658203 --> 10754.116211).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12043.32 .. NELBO: 12043.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5340.79 .. NELBO: 5340.81
****************************************************************************************************
Validation loss decreased (10754.116211 --> 10681.612305).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11936.12 .. NELBO: 11936.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.13 .. NELBO: 5311.15
****************************************************************************************************
Validation loss decreased (10681.612305 --> 10622.302734).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11842.09 .. NELBO: 11842.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.45 .. NELBO: 5300.47
****************************************************************************************************
Validation loss decreased (10622.302734 --> 10600.943359).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11788.62 .. NELBO: 11788.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.04 .. NELBO: 5313.06
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.63 .. NELBO: 11780.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.46 .. NELBO: 5336.48
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.97 .. NELBO: 11793.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.94 .. NELBO: 5351.96
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.66 .. NELBO: 11795.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.57 .. NELBO: 5353.59
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11784.03 .. NELBO: 11784.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.4 .. NELBO: 5347.42
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.059329539211297806, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 76.7 .. Rec_loss: 12263.69 .. NELBO: 12340.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.95 .. Rec_loss: 5443.44 .. NELBO: 5450.39
****************************************************************************************************
Validation loss decreased (inf --> 10900.771484).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.6 .. Rec_loss: 12246.36 .. NELBO: 12253.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.37 .. Rec_loss: 5430.3 .. NELBO: 5430.67
****************************************************************************************************
Validation loss decreased (10900.771484 --> 10861.343750).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.52 .. Rec_loss: 12203.98 .. NELBO: 12204.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5406.14 .. NELBO: 5406.2
****************************************************************************************************
Validation loss decreased (10861.343750 --> 10812.399414).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 12130.43 .. NELBO: 12130.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5372.71 .. NELBO: 5372.73
****************************************************************************************************
Validation loss decreased (10812.399414 --> 10745.463867).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12031.78 .. NELBO: 12031.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.33 .. NELBO: 5336.35
****************************************************************************************************
Validation loss decreased (10745.463867 --> 10672.693359).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11923.93 .. NELBO: 11923.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5308.19 .. NELBO: 5308.21
****************************************************************************************************
Validation loss decreased (10672.693359 --> 10616.413086).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11833.04 .. NELBO: 11833.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.32 .. NELBO: 5300.34
****************************************************************************************************
Validation loss decreased (10616.413086 --> 10600.676758).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11785.62 .. NELBO: 11785.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5315.2 .. NELBO: 5315.22
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11782.0 .. NELBO: 11782.03
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5338.56 .. NELBO: 5338.58
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11794.61 .. NELBO: 11794.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.47 .. NELBO: 5352.49
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.4 .. NELBO: 11795.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.83 .. NELBO: 5352.85
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11782.55 .. NELBO: 11782.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.29 .. NELBO: 5346.31
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.059329539211297806, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 86.24 .. Rec_loss: 12264.19 .. NELBO: 12350.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.07 .. Rec_loss: 5444.1 .. NELBO: 5452.17
****************************************************************************************************
Validation loss decreased (inf --> 10904.332031).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.68 .. Rec_loss: 12248.75 .. NELBO: 12257.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 5432.16 .. NELBO: 5432.59
****************************************************************************************************
Validation loss decreased (10904.332031 --> 10865.166992).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.62 .. Rec_loss: 12209.43 .. NELBO: 12210.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5409.15 .. NELBO: 5409.23
****************************************************************************************************
Validation loss decreased (10865.166992 --> 10818.452148).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12139.08 .. NELBO: 12139.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5376.25 .. NELBO: 5376.28
****************************************************************************************************
Validation loss decreased (10818.452148 --> 10752.564453).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12041.52 .. NELBO: 12041.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5339.56 .. NELBO: 5339.58
****************************************************************************************************
Validation loss decreased (10752.564453 --> 10679.163086).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11932.75 .. NELBO: 11932.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.1 .. NELBO: 5310.12
****************************************************************************************************
Validation loss decreased (10679.163086 --> 10620.235352).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11839.56 .. NELBO: 11839.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.26 .. NELBO: 5300.28
****************************************************************************************************
Validation loss decreased (10620.235352 --> 10600.555664).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11788.52 .. NELBO: 11788.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.71 .. NELBO: 5313.73
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.43 .. NELBO: 11781.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.25 .. NELBO: 5337.27
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11794.04 .. NELBO: 11794.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.24 .. NELBO: 5352.26
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.61 .. NELBO: 11796.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.41 .. NELBO: 5353.43
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11784.08 .. NELBO: 11784.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.05 .. NELBO: 5347.07
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  87
model: ETM(
  (t_drop): Dropout(p=0.05678460513155667, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=83, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=83, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=83, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 81.7 .. Rec_loss: 12264.48 .. NELBO: 12346.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.8 .. Rec_loss: 5444.39 .. NELBO: 5452.19
****************************************************************************************************
Validation loss decreased (inf --> 10904.361328).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.41 .. Rec_loss: 12249.9 .. NELBO: 12258.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 5433.09 .. NELBO: 5433.48
****************************************************************************************************
Validation loss decreased (10904.361328 --> 10866.941406).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.55 .. Rec_loss: 12212.74 .. NELBO: 12213.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5411.13 .. NELBO: 5411.2
****************************************************************************************************
Validation loss decreased (10866.941406 --> 10822.392578).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12145.08 .. NELBO: 12145.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5379.37 .. NELBO: 5379.4
****************************************************************************************************
Validation loss decreased (10822.392578 --> 10758.783203).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12051.35 .. NELBO: 12051.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5343.09 .. NELBO: 5343.11
****************************************************************************************************
Validation loss decreased (10758.783203 --> 10686.223633).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11943.85 .. NELBO: 11943.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.54 .. NELBO: 5312.56
****************************************************************************************************
Validation loss decreased (10686.223633 --> 10625.115234).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11848.17 .. NELBO: 11848.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.15 .. NELBO: 5300.17
****************************************************************************************************
Validation loss decreased (10625.115234 --> 10600.329102).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11791.25 .. NELBO: 11791.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.16 .. NELBO: 5311.18
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.62 .. NELBO: 11780.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5334.44 .. NELBO: 5334.46
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.38 .. NELBO: 11792.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.03 .. NELBO: 5351.05
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.15 .. NELBO: 11796.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.73 .. NELBO: 5353.75
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11785.95 .. NELBO: 11785.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.96 .. NELBO: 5347.98
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05678460513155667, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=83, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=83, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=83, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 84.66 .. Rec_loss: 12263.99 .. NELBO: 12348.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.35 .. Rec_loss: 5443.86 .. NELBO: 5451.21
****************************************************************************************************
Validation loss decreased (inf --> 10902.435547).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.08 .. Rec_loss: 12247.56 .. NELBO: 12255.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.46 .. Rec_loss: 5431.42 .. NELBO: 5431.88
****************************************************************************************************
Validation loss decreased (10902.435547 --> 10863.745117).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.64 .. Rec_loss: 12207.38 .. NELBO: 12208.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5408.19 .. NELBO: 5408.26
****************************************************************************************************
Validation loss decreased (10863.745117 --> 10816.513672).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12136.57 .. NELBO: 12136.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5375.4 .. NELBO: 5375.42
****************************************************************************************************
Validation loss decreased (10816.513672 --> 10750.847656).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12039.87 .. NELBO: 12039.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5339.05 .. NELBO: 5339.07
****************************************************************************************************
Validation loss decreased (10750.847656 --> 10678.127930).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11932.1 .. NELBO: 11932.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5309.92 .. NELBO: 5309.94
****************************************************************************************************
Validation loss decreased (10678.127930 --> 10619.872070).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11839.57 .. NELBO: 11839.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.16 .. NELBO: 5300.18
****************************************************************************************************
Validation loss decreased (10619.872070 --> 10600.354492).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11787.85 .. NELBO: 11787.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.36 .. NELBO: 5313.38
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.39 .. NELBO: 11781.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.68 .. NELBO: 5336.7
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.61 .. NELBO: 11793.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.71 .. NELBO: 5351.73
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.68 .. NELBO: 11795.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.1 .. NELBO: 5353.12
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11783.92 .. NELBO: 11783.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.93 .. NELBO: 5346.95
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05678460513155667, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=83, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=83, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=83, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 83.62 .. Rec_loss: 12264.79 .. NELBO: 12348.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.0 .. Rec_loss: 5444.93 .. NELBO: 5452.93
****************************************************************************************************
Validation loss decreased (inf --> 10905.864258).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.73 .. Rec_loss: 12251.53 .. NELBO: 12260.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 5434.06 .. NELBO: 5434.49
****************************************************************************************************
Validation loss decreased (10905.864258 --> 10868.980469).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.6 .. Rec_loss: 12215.8 .. NELBO: 12216.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5412.96 .. NELBO: 5413.03
****************************************************************************************************
Validation loss decreased (10868.980469 --> 10826.054688).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12150.98 .. NELBO: 12151.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5382.02 .. NELBO: 5382.04
****************************************************************************************************
Validation loss decreased (10826.054688 --> 10764.089844).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12058.55 .. NELBO: 12058.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.04 .. NELBO: 5346.06
****************************************************************************************************
Validation loss decreased (10764.089844 --> 10692.122070).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11952.52 .. NELBO: 11952.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5314.78 .. NELBO: 5314.8
****************************************************************************************************
Validation loss decreased (10692.122070 --> 10629.590820).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11855.57 .. NELBO: 11855.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.53 .. NELBO: 5300.55
****************************************************************************************************
Validation loss decreased (10629.590820 --> 10601.088867).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11794.87 .. NELBO: 11794.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5309.46 .. NELBO: 5309.48
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11780.0 .. NELBO: 11780.03
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5332.04 .. NELBO: 5332.06
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11791.31 .. NELBO: 11791.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5349.52 .. NELBO: 5349.54
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.05 .. NELBO: 11796.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.36 .. NELBO: 5353.38
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11786.29 .. NELBO: 11786.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5348.19 .. NELBO: 5348.21
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  88
model: ETM(
  (t_drop): Dropout(p=0.013413104246330212, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=62, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=62, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=62, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.25 .. Rec_loss: 12263.43 .. NELBO: 12263.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.63 .. Rec_loss: 5442.52 .. NELBO: 5443.15
****************************************************************************************************
Validation loss decreased (inf --> 10886.281250).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.51 .. Rec_loss: 12241.29 .. NELBO: 12242.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5426.02 .. NELBO: 5426.06
****************************************************************************************************
Validation loss decreased (10886.281250 --> 10852.133789).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 12189.28 .. NELBO: 12189.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 5398.28 .. NELBO: 5398.42
****************************************************************************************************
Validation loss decreased (10852.133789 --> 10796.848633).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.28 .. Rec_loss: 12105.85 .. NELBO: 12106.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.31 .. Rec_loss: 5362.35 .. NELBO: 5362.66
****************************************************************************************************
Validation loss decreased (10796.848633 --> 10725.320312).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.95 .. Rec_loss: 12000.05 .. NELBO: 12001.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.32 .. Rec_loss: 5326.63 .. NELBO: 5327.95
****************************************************************************************************
Validation loss decreased (10725.320312 --> 10655.900391).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 1.9 .. Rec_loss: 11894.71 .. NELBO: 11896.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.25 .. Rec_loss: 5304.0 .. NELBO: 5304.25
****************************************************************************************************
Validation loss decreased (10655.900391 --> 10608.492188).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.59 .. Rec_loss: 11816.5 .. NELBO: 11817.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5302.83 .. NELBO: 5302.91
****************************************************************************************************
Validation loss decreased (10608.492188 --> 10605.813477).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.23 .. Rec_loss: 11782.76 .. NELBO: 11782.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.72 .. Rec_loss: 5320.44 .. NELBO: 5321.16
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 1.2 .. Rec_loss: 11784.82 .. NELBO: 11786.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.25 .. Rec_loss: 5341.6 .. NELBO: 5341.85
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.92 .. Rec_loss: 11793.47 .. NELBO: 11794.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.44 .. Rec_loss: 5347.71 .. NELBO: 5350.15
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 4.57 .. Rec_loss: 11784.1 .. NELBO: 11788.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.59 .. Rec_loss: 5345.83 .. NELBO: 5347.42
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 3.6 .. Rec_loss: 11770.78 .. NELBO: 11774.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.53 .. Rec_loss: 5337.09 .. NELBO: 5340.62
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.013413104246330212, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=62, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=62, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=62, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.37 .. Rec_loss: 12263.52 .. NELBO: 12263.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.35 .. Rec_loss: 5442.54 .. NELBO: 5442.89
****************************************************************************************************
Validation loss decreased (inf --> 10885.769531).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 2.21 .. Rec_loss: 12241.24 .. NELBO: 12243.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5425.6 .. NELBO: 5425.64
****************************************************************************************************
Validation loss decreased (10885.769531 --> 10851.285156).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 12187.96 .. NELBO: 12188.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5397.05 .. NELBO: 5397.11
****************************************************************************************************
Validation loss decreased (10851.285156 --> 10794.206055).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.23 .. Rec_loss: 12101.77 .. NELBO: 12102.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.65 .. Rec_loss: 5360.0 .. NELBO: 5360.65
****************************************************************************************************
Validation loss decreased (10794.206055 --> 10721.306641).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 2.74 .. Rec_loss: 11992.64 .. NELBO: 11995.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.65 .. Rec_loss: 5324.26 .. NELBO: 5325.91
****************************************************************************************************
Validation loss decreased (10721.306641 --> 10651.832031).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 2.2 .. Rec_loss: 11887.51 .. NELBO: 11889.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 5302.86 .. NELBO: 5303.31
****************************************************************************************************
Validation loss decreased (10651.832031 --> 10606.617188).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.89 .. Rec_loss: 11812.28 .. NELBO: 11813.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.16 .. Rec_loss: 5303.59 .. NELBO: 5303.75
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.44 .. Rec_loss: 11781.58 .. NELBO: 11782.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.5 .. Rec_loss: 5322.51 .. NELBO: 5323.01
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.95 .. Rec_loss: 11786.06 .. NELBO: 11787.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 5342.63 .. NELBO: 5343.01
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 1.07 .. Rec_loss: 11793.08 .. NELBO: 11794.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.1 .. Rec_loss: 5348.05 .. NELBO: 5350.15
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 5.31 .. Rec_loss: 11782.32 .. NELBO: 11787.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.6 .. Rec_loss: 5343.8 .. NELBO: 5346.4
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.013413104246330212, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=62, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=62, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=62, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.34 .. Rec_loss: 12263.4 .. NELBO: 12263.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.44 .. Rec_loss: 5442.37 .. NELBO: 5442.81
****************************************************************************************************
Validation loss decreased (inf --> 10885.607422).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.43 .. Rec_loss: 12240.89 .. NELBO: 12242.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5425.53 .. NELBO: 5425.56
****************************************************************************************************
Validation loss decreased (10885.607422 --> 10851.119141).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12187.57 .. NELBO: 12187.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 5397.29 .. NELBO: 5397.4
****************************************************************************************************
Validation loss decreased (10851.119141 --> 10794.784180).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.28 .. Rec_loss: 12102.67 .. NELBO: 12102.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.51 .. Rec_loss: 5360.9 .. NELBO: 5361.41
****************************************************************************************************
Validation loss decreased (10794.784180 --> 10722.824219).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 1.87 .. Rec_loss: 11995.16 .. NELBO: 11997.03
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.27 .. Rec_loss: 5325.42 .. NELBO: 5326.69
****************************************************************************************************
Validation loss decreased (10722.824219 --> 10653.395508).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 1.85 .. Rec_loss: 11890.69 .. NELBO: 11892.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.28 .. Rec_loss: 5303.45 .. NELBO: 5303.73
****************************************************************************************************
Validation loss decreased (10653.395508 --> 10607.445312).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.48 .. Rec_loss: 11814.25 .. NELBO: 11814.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5303.19 .. NELBO: 5303.24
****************************************************************************************************
Validation loss decreased (10607.445312 --> 10606.473633).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.28 .. Rec_loss: 11781.6 .. NELBO: 11781.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.2 .. Rec_loss: 5321.9 .. NELBO: 5322.1
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.5 .. Rec_loss: 11785.45 .. NELBO: 11785.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.68 .. Rec_loss: 5341.76 .. NELBO: 5342.44
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 1.67 .. Rec_loss: 11793.09 .. NELBO: 11794.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.3 .. Rec_loss: 5348.97 .. NELBO: 5350.27
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 4.04 .. Rec_loss: 11784.04 .. NELBO: 11788.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.5 .. Rec_loss: 5341.75 .. NELBO: 5346.25
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 7.09 .. Rec_loss: 11764.53 .. NELBO: 11771.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.86 .. Rec_loss: 5338.45 .. NELBO: 5341.31
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  89
model: ETM(
  (t_drop): Dropout(p=0.01009689777863363, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1199.7 .. Rec_loss: 12264.49 .. NELBO: 13464.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 32.34 .. Rec_loss: 5445.45 .. NELBO: 5477.79
****************************************************************************************************
Validation loss decreased (inf --> 10955.575195).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 44.86 .. Rec_loss: 12254.34 .. NELBO: 12299.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 16.49 .. Rec_loss: 5437.38 .. NELBO: 5453.87
****************************************************************************************************
Validation loss decreased (10955.575195 --> 10907.732422).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 33.69 .. Rec_loss: 12227.43 .. NELBO: 12261.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 14.56 .. Rec_loss: 5421.07 .. NELBO: 5435.63
****************************************************************************************************
Validation loss decreased (10907.732422 --> 10871.258789).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 25.85 .. Rec_loss: 12176.32 .. NELBO: 12202.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.79 .. Rec_loss: 5395.54 .. NELBO: 5403.33
****************************************************************************************************
Validation loss decreased (10871.258789 --> 10806.657227).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 13.12 .. Rec_loss: 12099.23 .. NELBO: 12112.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.5 .. Rec_loss: 5362.99 .. NELBO: 5366.49
****************************************************************************************************
Validation loss decreased (10806.657227 --> 10732.983398).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 5.91 .. Rec_loss: 12001.92 .. NELBO: 12007.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.62 .. Rec_loss: 5329.52 .. NELBO: 5331.14
****************************************************************************************************
Validation loss decreased (10732.983398 --> 10662.283203).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 2.76 .. Rec_loss: 11901.07 .. NELBO: 11903.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.75 .. Rec_loss: 5305.57 .. NELBO: 5306.32
****************************************************************************************************
Validation loss decreased (10662.283203 --> 10612.642578).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 1.26 .. Rec_loss: 11819.61 .. NELBO: 11820.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.31 .. Rec_loss: 5301.54 .. NELBO: 5301.85
****************************************************************************************************
Validation loss decreased (10612.642578 --> 10603.703125).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.51 .. Rec_loss: 11780.66 .. NELBO: 11781.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 5317.91 .. NELBO: 5318.02
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.18 .. Rec_loss: 11781.53 .. NELBO: 11781.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5340.18 .. NELBO: 5340.22
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 11793.33 .. NELBO: 11793.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.48 .. NELBO: 5352.5
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.47 .. NELBO: 11793.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.15 .. NELBO: 5352.17
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.37 .. NELBO: 11781.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5345.57 .. NELBO: 5345.59
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.01009689777863363, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1507.5 .. Rec_loss: 12264.37 .. NELBO: 13771.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 26.65 .. Rec_loss: 5445.4 .. NELBO: 5472.05
****************************************************************************************************
Validation loss decreased (inf --> 10944.094727).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 31.36 .. Rec_loss: 12253.63 .. NELBO: 12284.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.9 .. Rec_loss: 5436.59 .. NELBO: 5443.49
****************************************************************************************************
Validation loss decreased (10944.094727 --> 10886.982422).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 13.96 .. Rec_loss: 12224.41 .. NELBO: 12238.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 5.44 .. Rec_loss: 5419.12 .. NELBO: 5424.56
****************************************************************************************************
Validation loss decreased (10886.982422 --> 10849.113281).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 9.43 .. Rec_loss: 12169.51 .. NELBO: 12178.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.86 .. Rec_loss: 5391.75 .. NELBO: 5394.61
****************************************************************************************************
Validation loss decreased (10849.113281 --> 10789.215820).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 5.03 .. Rec_loss: 12085.94 .. NELBO: 12090.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.7 .. Rec_loss: 5357.47 .. NELBO: 5359.17
****************************************************************************************************
Validation loss decreased (10789.215820 --> 10718.354492).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 3.13 .. Rec_loss: 11983.62 .. NELBO: 11986.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.23 .. Rec_loss: 5323.88 .. NELBO: 5325.11
****************************************************************************************************
Validation loss decreased (10718.354492 --> 10650.229492).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 2.38 .. Rec_loss: 11881.15 .. NELBO: 11883.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.05 .. Rec_loss: 5302.79 .. NELBO: 5303.84
****************************************************************************************************
Validation loss decreased (10650.229492 --> 10607.670898).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 1.95 .. Rec_loss: 11805.48 .. NELBO: 11807.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.7 .. Rec_loss: 5304.12 .. NELBO: 5304.82
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 1.27 .. Rec_loss: 11777.1 .. NELBO: 11778.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.49 .. Rec_loss: 5324.45 .. NELBO: 5324.94
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.92 .. Rec_loss: 11784.39 .. NELBO: 11785.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.35 .. Rec_loss: 5346.19 .. NELBO: 5346.54
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.64 .. Rec_loss: 11796.24 .. NELBO: 11796.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 5355.17 .. NELBO: 5355.39
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 11791.52 .. NELBO: 11791.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 5352.13 .. NELBO: 5352.26
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.01009689777863363, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1789.71 .. Rec_loss: 12264.83 .. NELBO: 14054.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 32.1 .. Rec_loss: 5445.77 .. NELBO: 5477.87
****************************************************************************************************
Validation loss decreased (inf --> 10955.730469).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 42.81 .. Rec_loss: 12255.32 .. NELBO: 12298.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 18.06 .. Rec_loss: 5438.08 .. NELBO: 5456.14
****************************************************************************************************
Validation loss decreased (10955.730469 --> 10912.274414).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 37.99 .. Rec_loss: 12229.26 .. NELBO: 12267.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 16.87 .. Rec_loss: 5422.16 .. NELBO: 5439.03
****************************************************************************************************
Validation loss decreased (10912.274414 --> 10878.046875).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 30.55 .. Rec_loss: 12178.97 .. NELBO: 12209.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 10.95 .. Rec_loss: 5397.25 .. NELBO: 5408.2
****************************************************************************************************
Validation loss decreased (10878.046875 --> 10816.403320).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 20.18 .. Rec_loss: 12102.73 .. NELBO: 12122.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.75 .. Rec_loss: 5364.85 .. NELBO: 5372.6
****************************************************************************************************
Validation loss decreased (10816.403320 --> 10745.217773).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 14.74 .. Rec_loss: 12005.08 .. NELBO: 12019.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.22 .. Rec_loss: 5330.86 .. NELBO: 5337.08
****************************************************************************************************
Validation loss decreased (10745.217773 --> 10674.153320).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 12.01 .. Rec_loss: 11901.69 .. NELBO: 11913.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 5.25 .. Rec_loss: 5306.38 .. NELBO: 5311.63
****************************************************************************************************
Validation loss decreased (10674.153320 --> 10623.275391).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 10.14 .. Rec_loss: 11819.12 .. NELBO: 11829.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.33 .. Rec_loss: 5302.46 .. NELBO: 5306.79
****************************************************************************************************
Validation loss decreased (10623.275391 --> 10613.587891).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 8.31 .. Rec_loss: 11780.34 .. NELBO: 11788.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.36 .. Rec_loss: 5319.3 .. NELBO: 5322.66
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 6.28 .. Rec_loss: 11782.08 .. NELBO: 11788.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.41 .. Rec_loss: 5341.2 .. NELBO: 5343.61
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 4.56 .. Rec_loss: 11793.76 .. NELBO: 11798.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.83 .. Rec_loss: 5352.06 .. NELBO: 5353.89
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 3.62 .. Rec_loss: 11792.15 .. NELBO: 11795.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.7 .. Rec_loss: 5350.15 .. NELBO: 5351.85
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 3.56 .. Rec_loss: 11778.23 .. NELBO: 11781.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.85 .. Rec_loss: 5342.63 .. NELBO: 5344.48
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  90
model: ETM(
  (t_drop): Dropout(p=0.05238076011214266, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=53, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=53, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=53, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 67.93 .. Rec_loss: 12263.86 .. NELBO: 12331.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.85 .. Rec_loss: 5443.57 .. NELBO: 5450.42
****************************************************************************************************
Validation loss decreased (inf --> 10900.829102).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.46 .. Rec_loss: 12247.52 .. NELBO: 12254.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 5432.1 .. NELBO: 5432.48
****************************************************************************************************
Validation loss decreased (10900.829102 --> 10864.974609).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.55 .. Rec_loss: 12209.83 .. NELBO: 12210.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5410.34 .. NELBO: 5410.41
****************************************************************************************************
Validation loss decreased (10864.974609 --> 10820.816406).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12142.63 .. NELBO: 12142.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5379.17 .. NELBO: 5379.19
****************************************************************************************************
Validation loss decreased (10820.816406 --> 10758.391602).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12048.56 .. NELBO: 12048.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5343.58 .. NELBO: 5343.6
****************************************************************************************************
Validation loss decreased (10758.391602 --> 10687.187500).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11944.4 .. NELBO: 11944.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5313.26 .. NELBO: 5313.27
****************************************************************************************************
Validation loss decreased (10687.187500 --> 10626.555664).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11848.98 .. NELBO: 11849.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.33 .. NELBO: 5300.35
****************************************************************************************************
Validation loss decreased (10626.555664 --> 10600.698242).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11790.76 .. NELBO: 11790.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.52 .. NELBO: 5310.54
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11778.89 .. NELBO: 11778.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5333.58 .. NELBO: 5333.61
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11790.78 .. NELBO: 11790.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.78 .. NELBO: 5350.8
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.97 .. NELBO: 11796.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5354.19 .. NELBO: 5354.21
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11786.34 .. NELBO: 11786.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5348.68 .. NELBO: 5348.69
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05238076011214266, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=53, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=53, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=53, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 70.21 .. Rec_loss: 12263.77 .. NELBO: 12333.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.24 .. Rec_loss: 5443.65 .. NELBO: 5450.89
****************************************************************************************************
Validation loss decreased (inf --> 10901.779297).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.85 .. Rec_loss: 12247.86 .. NELBO: 12255.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 5432.29 .. NELBO: 5432.68
****************************************************************************************************
Validation loss decreased (10901.779297 --> 10865.360352).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.56 .. Rec_loss: 12210.86 .. NELBO: 12211.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5410.58 .. NELBO: 5410.65
****************************************************************************************************
Validation loss decreased (10865.360352 --> 10821.300781).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12143.71 .. NELBO: 12143.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5379.17 .. NELBO: 5379.2
****************************************************************************************************
Validation loss decreased (10821.300781 --> 10758.391602).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12050.03 .. NELBO: 12050.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5343.25 .. NELBO: 5343.27
****************************************************************************************************
Validation loss decreased (10758.391602 --> 10686.537109).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11944.7 .. NELBO: 11944.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.77 .. NELBO: 5312.79
****************************************************************************************************
Validation loss decreased (10686.537109 --> 10625.573242).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11848.48 .. NELBO: 11848.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.03 .. NELBO: 5300.05
****************************************************************************************************
Validation loss decreased (10625.573242 --> 10600.103516).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11791.01 .. NELBO: 11791.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5310.69 .. NELBO: 5310.72
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 11780.24 .. NELBO: 11780.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5334.03 .. NELBO: 5334.07
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 11792.19 .. NELBO: 11792.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5350.99 .. NELBO: 5351.03
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 11796.68 .. NELBO: 11796.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5353.97 .. NELBO: 5354.0
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11785.44 .. NELBO: 11785.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5348.31 .. NELBO: 5348.34
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05238076011214266, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=53, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=53, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=53, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 68.89 .. Rec_loss: 12263.64 .. NELBO: 12332.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.32 .. Rec_loss: 5443.09 .. NELBO: 5450.41
****************************************************************************************************
Validation loss decreased (inf --> 10900.816406).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.84 .. Rec_loss: 12245.37 .. NELBO: 12253.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.33 .. Rec_loss: 5429.84 .. NELBO: 5430.17
****************************************************************************************************
Validation loss decreased (10900.816406 --> 10860.332031).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.49 .. Rec_loss: 12202.85 .. NELBO: 12203.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5405.73 .. NELBO: 5405.8
****************************************************************************************************
Validation loss decreased (10860.332031 --> 10811.605469).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12129.29 .. NELBO: 12129.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5372.43 .. NELBO: 5372.46
****************************************************************************************************
Validation loss decreased (10811.605469 --> 10744.909180).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12030.97 .. NELBO: 12031.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.25 .. NELBO: 5336.27
****************************************************************************************************
Validation loss decreased (10744.909180 --> 10672.527344).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11923.47 .. NELBO: 11923.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5308.18 .. NELBO: 5308.2
****************************************************************************************************
Validation loss decreased (10672.527344 --> 10616.384766).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11834.17 .. NELBO: 11834.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.12 .. NELBO: 5300.14
****************************************************************************************************
Validation loss decreased (10616.384766 --> 10600.272461).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11785.63 .. NELBO: 11785.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5314.76 .. NELBO: 5314.78
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.85 .. NELBO: 11781.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5338.25 .. NELBO: 5338.27
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.44 .. NELBO: 11793.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.51 .. NELBO: 5352.53
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.22 .. NELBO: 11795.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.14 .. NELBO: 5353.16
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11782.78 .. NELBO: 11782.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.68 .. NELBO: 5346.7
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  91
model: ETM(
  (t_drop): Dropout(p=0.046152336614858784, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=72, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=72, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=72, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 2.75 .. Rec_loss: 12265.38 .. NELBO: 12268.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.24 .. NELBO: 5448.29
****************************************************************************************************
Validation loss decreased (inf --> 10896.581055).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 0.29 .. Rec_loss: 12265.35 .. NELBO: 12265.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.24 .. NELBO: 5448.25
****************************************************************************************************
Validation loss decreased (10896.581055 --> 10896.487305).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.23 .. Rec_loss: 12265.33 .. NELBO: 12265.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.23 .. NELBO: 5448.23
****************************************************************************************************
Validation loss decreased (10896.487305 --> 10896.471680).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 12265.27 .. NELBO: 12265.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.23 .. NELBO: 5448.23
****************************************************************************************************
Validation loss decreased (10896.471680 --> 10896.467773).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.23 .. Rec_loss: 12265.28 .. NELBO: 12265.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.22 .. NELBO: 5448.22
****************************************************************************************************
Validation loss decreased (10896.467773 --> 10896.457031).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 12265.29 .. NELBO: 12265.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.22 .. NELBO: 5448.22
****************************************************************************************************
Validation loss decreased (10896.457031 --> 10896.446289).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.23 .. Rec_loss: 12265.28 .. NELBO: 12265.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.22 .. NELBO: 5448.23
****************************************************************************************************
Validation loss decreased (10896.446289 --> 10896.441406).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.23 .. Rec_loss: 12265.25 .. NELBO: 12265.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.21 .. NELBO: 5448.21
****************************************************************************************************
Validation loss decreased (10896.441406 --> 10896.433594).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 12265.25 .. NELBO: 12265.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.21 .. NELBO: 5448.21
****************************************************************************************************
Validation loss decreased (10896.433594 --> 10896.421875).  Saving model ...
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 12265.21 .. NELBO: 12265.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.2 .. NELBO: 5448.2
****************************************************************************************************
Validation loss decreased (10896.421875 --> 10896.416016).  Saving model ...
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 12265.23 .. NELBO: 12265.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.2 .. NELBO: 5448.2
****************************************************************************************************
Validation loss decreased (10896.416016 --> 10896.406250).  Saving model ...
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 12265.19 .. NELBO: 12265.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.19 .. NELBO: 5448.19
****************************************************************************************************
Validation loss decreased (10896.406250 --> 10896.395508).  Saving model ...
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 12265.19 .. NELBO: 12265.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.19 .. NELBO: 5448.19
****************************************************************************************************
Validation loss decreased (10896.395508 --> 10896.391602).  Saving model ...
****************************************************************************************************
Epoch----->14 .. LR: 0.005 .. KL_theta: 0.21 .. Rec_loss: 12265.17 .. NELBO: 12265.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.19 .. NELBO: 5448.19
****************************************************************************************************
Validation loss decreased (10896.391602 --> 10896.379883).  Saving model ...
****************************************************************************************************
Epoch----->15 .. LR: 0.005 .. KL_theta: 0.23 .. Rec_loss: 12265.15 .. NELBO: 12265.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.18 .. NELBO: 5448.18
****************************************************************************************************
Validation loss decreased (10896.379883 --> 10896.371094).  Saving model ...
****************************************************************************************************
Epoch----->16 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 12265.15 .. NELBO: 12265.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.18 .. NELBO: 5448.18
****************************************************************************************************
Validation loss decreased (10896.371094 --> 10896.360352).  Saving model ...
****************************************************************************************************
Epoch----->17 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 12265.14 .. NELBO: 12265.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.17 .. NELBO: 5448.17
****************************************************************************************************
Validation loss decreased (10896.360352 --> 10896.353516).  Saving model ...
****************************************************************************************************
Epoch----->18 .. LR: 0.005 .. KL_theta: 0.23 .. Rec_loss: 12265.14 .. NELBO: 12265.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.17 .. NELBO: 5448.17
****************************************************************************************************
Validation loss decreased (10896.353516 --> 10896.343750).  Saving model ...
****************************************************************************************************
Epoch----->19 .. LR: 0.005 .. KL_theta: 0.23 .. Rec_loss: 12265.1 .. NELBO: 12265.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.16 .. NELBO: 5448.16
****************************************************************************************************
Validation loss decreased (10896.343750 --> 10896.334961).  Saving model ...
****************************************************************************************************
Epoch----->20 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 12265.11 .. NELBO: 12265.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.16 .. NELBO: 5448.16
****************************************************************************************************
Validation loss decreased (10896.334961 --> 10896.325195).  Saving model ...
****************************************************************************************************
Epoch----->21 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 12265.06 .. NELBO: 12265.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.15 .. NELBO: 5448.15
****************************************************************************************************
Validation loss decreased (10896.325195 --> 10896.313477).  Saving model ...
****************************************************************************************************
Epoch----->22 .. LR: 0.005 .. KL_theta: 0.23 .. Rec_loss: 12265.07 .. NELBO: 12265.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.15 .. NELBO: 5448.15
****************************************************************************************************
Validation loss decreased (10896.313477 --> 10896.305664).  Saving model ...
****************************************************************************************************
Epoch----->23 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 12265.04 .. NELBO: 12265.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.14 .. NELBO: 5448.14
****************************************************************************************************
Validation loss decreased (10896.305664 --> 10896.295898).  Saving model ...
****************************************************************************************************
Epoch----->24 .. LR: 0.005 .. KL_theta: 0.21 .. Rec_loss: 12265.07 .. NELBO: 12265.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.14 .. NELBO: 5448.14
****************************************************************************************************
Validation loss decreased (10896.295898 --> 10896.288086).  Saving model ...
****************************************************************************************************
Epoch----->25 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 12265.04 .. NELBO: 12265.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.13 .. NELBO: 5448.14
****************************************************************************************************
Validation loss decreased (10896.288086 --> 10896.278320).  Saving model ...
****************************************************************************************************
Epoch----->26 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 12265.04 .. NELBO: 12265.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.13 .. NELBO: 5448.13
****************************************************************************************************
Validation loss decreased (10896.278320 --> 10896.263672).  Saving model ...
****************************************************************************************************
Epoch----->27 .. LR: 0.005 .. KL_theta: 0.21 .. Rec_loss: 12264.98 .. NELBO: 12265.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.12 .. NELBO: 5448.12
****************************************************************************************************
Validation loss decreased (10896.263672 --> 10896.254883).  Saving model ...
****************************************************************************************************
Epoch----->28 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 12264.99 .. NELBO: 12265.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.12 .. NELBO: 5448.12
****************************************************************************************************
Validation loss decreased (10896.254883 --> 10896.246094).  Saving model ...
****************************************************************************************************
Epoch----->29 .. LR: 0.005 .. KL_theta: 0.21 .. Rec_loss: 12264.96 .. NELBO: 12265.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.11 .. NELBO: 5448.11
****************************************************************************************************
Validation loss decreased (10896.246094 --> 10896.234375).  Saving model ...
****************************************************************************************************
Epoch----->30 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 12264.97 .. NELBO: 12265.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.11 .. NELBO: 5448.12
****************************************************************************************************
Validation loss decreased (10896.234375 --> 10896.225586).  Saving model ...
model: ETM(
  (t_drop): Dropout(p=0.046152336614858784, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=72, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=72, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=72, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 2.47 .. Rec_loss: 12265.35 .. NELBO: 12267.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5448.24 .. NELBO: 5448.28
****************************************************************************************************
Validation loss decreased (inf --> 10896.573242).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 0.28 .. Rec_loss: 12265.37 .. NELBO: 12265.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.24 .. NELBO: 5448.25
****************************************************************************************************
Validation loss decreased (10896.573242 --> 10896.493164).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.23 .. Rec_loss: 12265.35 .. NELBO: 12265.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.23 .. NELBO: 5448.23
****************************************************************************************************
Validation loss decreased (10896.493164 --> 10896.477539).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 12265.3 .. NELBO: 12265.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.23 .. NELBO: 5448.23
****************************************************************************************************
Validation loss decreased (10896.477539 --> 10896.468750).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.23 .. Rec_loss: 12265.31 .. NELBO: 12265.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.23 .. NELBO: 5448.23
****************************************************************************************************
Validation loss decreased (10896.468750 --> 10896.460938).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 12265.29 .. NELBO: 12265.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.22 .. NELBO: 5448.23
****************************************************************************************************
Validation loss decreased (10896.460938 --> 10896.456055).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.23 .. Rec_loss: 12265.28 .. NELBO: 12265.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.22 .. NELBO: 5448.22
****************************************************************************************************
Validation loss decreased (10896.456055 --> 10896.447266).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 12265.29 .. NELBO: 12265.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.21 .. NELBO: 5448.21
****************************************************************************************************
Validation loss decreased (10896.447266 --> 10896.437500).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.23 .. Rec_loss: 12265.27 .. NELBO: 12265.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.21 .. NELBO: 5448.21
****************************************************************************************************
Validation loss decreased (10896.437500 --> 10896.428711).  Saving model ...
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.21 .. Rec_loss: 12265.25 .. NELBO: 12265.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.21 .. NELBO: 5448.21
****************************************************************************************************
Validation loss decreased (10896.428711 --> 10896.419922).  Saving model ...
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 12265.22 .. NELBO: 12265.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.2 .. NELBO: 5448.2
****************************************************************************************************
Validation loss decreased (10896.419922 --> 10896.412109).  Saving model ...
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 12265.22 .. NELBO: 12265.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.2 .. NELBO: 5448.2
****************************************************************************************************
Validation loss decreased (10896.412109 --> 10896.406250).  Saving model ...
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 12265.22 .. NELBO: 12265.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.19 .. NELBO: 5448.19
****************************************************************************************************
Validation loss decreased (10896.406250 --> 10896.398438).  Saving model ...
****************************************************************************************************
Epoch----->14 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 12265.18 .. NELBO: 12265.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.19 .. NELBO: 5448.19
****************************************************************************************************
Validation loss decreased (10896.398438 --> 10896.387695).  Saving model ...
****************************************************************************************************
Epoch----->15 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 12265.21 .. NELBO: 12265.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.19 .. NELBO: 5448.19
****************************************************************************************************
Validation loss decreased (10896.387695 --> 10896.380859).  Saving model ...
****************************************************************************************************
Epoch----->16 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 12265.18 .. NELBO: 12265.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.18 .. NELBO: 5448.18
****************************************************************************************************
Validation loss decreased (10896.380859 --> 10896.373047).  Saving model ...
****************************************************************************************************
Epoch----->17 .. LR: 0.005 .. KL_theta: 0.23 .. Rec_loss: 12265.15 .. NELBO: 12265.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.18 .. NELBO: 5448.18
****************************************************************************************************
Validation loss decreased (10896.373047 --> 10896.362305).  Saving model ...
****************************************************************************************************
Epoch----->18 .. LR: 0.005 .. KL_theta: 0.23 .. Rec_loss: 12265.19 .. NELBO: 12265.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.17 .. NELBO: 5448.17
****************************************************************************************************
Validation loss decreased (10896.362305 --> 10896.353516).  Saving model ...
****************************************************************************************************
Epoch----->19 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 12265.16 .. NELBO: 12265.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.17 .. NELBO: 5448.17
****************************************************************************************************
Validation loss decreased (10896.353516 --> 10896.343750).  Saving model ...
****************************************************************************************************
Epoch----->20 .. LR: 0.005 .. KL_theta: 0.23 .. Rec_loss: 12265.12 .. NELBO: 12265.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.16 .. NELBO: 5448.16
****************************************************************************************************
Validation loss decreased (10896.343750 --> 10896.333008).  Saving model ...
****************************************************************************************************
Epoch----->21 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 12265.1 .. NELBO: 12265.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.16 .. NELBO: 5448.16
****************************************************************************************************
Validation loss decreased (10896.333008 --> 10896.326172).  Saving model ...
****************************************************************************************************
Epoch----->22 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 12265.12 .. NELBO: 12265.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.15 .. NELBO: 5448.15
****************************************************************************************************
Validation loss decreased (10896.326172 --> 10896.314453).  Saving model ...
****************************************************************************************************
Epoch----->23 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 12265.12 .. NELBO: 12265.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.15 .. NELBO: 5448.15
****************************************************************************************************
Validation loss decreased (10896.314453 --> 10896.307617).  Saving model ...
****************************************************************************************************
Epoch----->24 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 12265.06 .. NELBO: 12265.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.15 .. NELBO: 5448.15
****************************************************************************************************
Validation loss decreased (10896.307617 --> 10896.298828).  Saving model ...
****************************************************************************************************
Epoch----->25 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 12265.06 .. NELBO: 12265.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.14 .. NELBO: 5448.14
****************************************************************************************************
Validation loss decreased (10896.298828 --> 10896.290039).  Saving model ...
****************************************************************************************************
Epoch----->26 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 12265.06 .. NELBO: 12265.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.14 .. NELBO: 5448.15
****************************************************************************************************
Validation loss decreased (10896.290039 --> 10896.280273).  Saving model ...
****************************************************************************************************
Epoch----->27 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 12265.05 .. NELBO: 12265.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.13 .. NELBO: 5448.13
****************************************************************************************************
Validation loss decreased (10896.280273 --> 10896.267578).  Saving model ...
****************************************************************************************************
Epoch----->28 .. LR: 0.005 .. KL_theta: 0.23 .. Rec_loss: 12265.0 .. NELBO: 12265.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.13 .. NELBO: 5448.13
****************************************************************************************************
Validation loss decreased (10896.267578 --> 10896.259766).  Saving model ...
****************************************************************************************************
Epoch----->29 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 12264.99 .. NELBO: 12265.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.12 .. NELBO: 5448.12
****************************************************************************************************
Validation loss decreased (10896.259766 --> 10896.249023).  Saving model ...
****************************************************************************************************
Epoch----->30 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 12264.99 .. NELBO: 12265.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.12 .. NELBO: 5448.12
****************************************************************************************************
Validation loss decreased (10896.249023 --> 10896.238281).  Saving model ...
model: ETM(
  (t_drop): Dropout(p=0.046152336614858784, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=72, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=72, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=72, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 2.54 .. Rec_loss: 12265.38 .. NELBO: 12267.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5448.25 .. NELBO: 5448.3
****************************************************************************************************
Validation loss decreased (inf --> 10896.598633).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 0.28 .. Rec_loss: 12265.4 .. NELBO: 12265.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.25 .. NELBO: 5448.26
****************************************************************************************************
Validation loss decreased (10896.598633 --> 10896.505859).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.23 .. Rec_loss: 12265.36 .. NELBO: 12265.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.24 .. NELBO: 5448.24
****************************************************************************************************
Validation loss decreased (10896.505859 --> 10896.494141).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 12265.35 .. NELBO: 12265.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.24 .. NELBO: 5448.24
****************************************************************************************************
Validation loss decreased (10896.494141 --> 10896.486328).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.23 .. Rec_loss: 12265.33 .. NELBO: 12265.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.24 .. NELBO: 5448.24
****************************************************************************************************
Validation loss decreased (10896.486328 --> 10896.481445).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.23 .. Rec_loss: 12265.33 .. NELBO: 12265.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.23 .. NELBO: 5448.23
****************************************************************************************************
Validation loss decreased (10896.481445 --> 10896.474609).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 12265.32 .. NELBO: 12265.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.23 .. NELBO: 5448.24
****************************************************************************************************
Validation loss decreased (10896.474609 --> 10896.466797).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.23 .. Rec_loss: 12265.3 .. NELBO: 12265.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.23 .. NELBO: 5448.23
****************************************************************************************************
Validation loss decreased (10896.466797 --> 10896.458984).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 12265.29 .. NELBO: 12265.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.22 .. NELBO: 5448.22
****************************************************************************************************
Validation loss decreased (10896.458984 --> 10896.451172).  Saving model ...
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 12265.29 .. NELBO: 12265.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.22 .. NELBO: 5448.22
****************************************************************************************************
Validation loss decreased (10896.451172 --> 10896.441406).  Saving model ...
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.23 .. Rec_loss: 12265.3 .. NELBO: 12265.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.21 .. NELBO: 5448.22
****************************************************************************************************
Validation loss decreased (10896.441406 --> 10896.438477).  Saving model ...
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.23 .. Rec_loss: 12265.3 .. NELBO: 12265.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.21 .. NELBO: 5448.21
****************************************************************************************************
Validation loss decreased (10896.438477 --> 10896.428711).  Saving model ...
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.21 .. Rec_loss: 12265.25 .. NELBO: 12265.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.21 .. NELBO: 5448.21
****************************************************************************************************
Validation loss decreased (10896.428711 --> 10896.418945).  Saving model ...
****************************************************************************************************
Epoch----->14 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 12265.24 .. NELBO: 12265.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.2 .. NELBO: 5448.2
****************************************************************************************************
Validation loss decreased (10896.418945 --> 10896.412109).  Saving model ...
****************************************************************************************************
Epoch----->15 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 12265.23 .. NELBO: 12265.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.2 .. NELBO: 5448.2
****************************************************************************************************
Validation loss decreased (10896.412109 --> 10896.405273).  Saving model ...
****************************************************************************************************
Epoch----->16 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 12265.23 .. NELBO: 12265.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.2 .. NELBO: 5448.2
****************************************************************************************************
Validation loss decreased (10896.405273 --> 10896.397461).  Saving model ...
****************************************************************************************************
Epoch----->17 .. LR: 0.005 .. KL_theta: 0.23 .. Rec_loss: 12265.2 .. NELBO: 12265.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.19 .. NELBO: 5448.19
****************************************************************************************************
Validation loss decreased (10896.397461 --> 10896.390625).  Saving model ...
****************************************************************************************************
Epoch----->18 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 12265.18 .. NELBO: 12265.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.19 .. NELBO: 5448.19
****************************************************************************************************
Validation loss decreased (10896.390625 --> 10896.383789).  Saving model ...
****************************************************************************************************
Epoch----->19 .. LR: 0.005 .. KL_theta: 0.23 .. Rec_loss: 12265.18 .. NELBO: 12265.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.18 .. NELBO: 5448.18
****************************************************************************************************
Validation loss decreased (10896.383789 --> 10896.375977).  Saving model ...
****************************************************************************************************
Epoch----->20 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 12265.18 .. NELBO: 12265.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.18 .. NELBO: 5448.18
****************************************************************************************************
Validation loss decreased (10896.375977 --> 10896.368164).  Saving model ...
****************************************************************************************************
Epoch----->21 .. LR: 0.005 .. KL_theta: 0.23 .. Rec_loss: 12265.16 .. NELBO: 12265.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.18 .. NELBO: 5448.18
****************************************************************************************************
Validation loss decreased (10896.368164 --> 10896.359375).  Saving model ...
****************************************************************************************************
Epoch----->22 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 12265.16 .. NELBO: 12265.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.17 .. NELBO: 5448.17
****************************************************************************************************
Validation loss decreased (10896.359375 --> 10896.350586).  Saving model ...
****************************************************************************************************
Epoch----->23 .. LR: 0.005 .. KL_theta: 0.23 .. Rec_loss: 12265.13 .. NELBO: 12265.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.17 .. NELBO: 5448.17
****************************************************************************************************
Validation loss decreased (10896.350586 --> 10896.343750).  Saving model ...
****************************************************************************************************
Epoch----->24 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 12265.11 .. NELBO: 12265.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.16 .. NELBO: 5448.16
****************************************************************************************************
Validation loss decreased (10896.343750 --> 10896.333984).  Saving model ...
****************************************************************************************************
Epoch----->25 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 12265.12 .. NELBO: 12265.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.16 .. NELBO: 5448.16
****************************************************************************************************
Validation loss decreased (10896.333984 --> 10896.324219).  Saving model ...
****************************************************************************************************
Epoch----->26 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 12265.1 .. NELBO: 12265.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.15 .. NELBO: 5448.15
****************************************************************************************************
Validation loss decreased (10896.324219 --> 10896.316406).  Saving model ...
****************************************************************************************************
Epoch----->27 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 12265.1 .. NELBO: 12265.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.15 .. NELBO: 5448.16
****************************************************************************************************
Validation loss decreased (10896.316406 --> 10896.312500).  Saving model ...
****************************************************************************************************
Epoch----->28 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 12265.08 .. NELBO: 12265.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.15 .. NELBO: 5448.15
****************************************************************************************************
Validation loss decreased (10896.312500 --> 10896.297852).  Saving model ...
****************************************************************************************************
Epoch----->29 .. LR: 0.005 .. KL_theta: 0.23 .. Rec_loss: 12265.08 .. NELBO: 12265.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5448.14 .. NELBO: 5448.15
****************************************************************************************************
Validation loss decreased (10896.297852 --> 10896.292969).  Saving model ...
****************************************************************************************************
Epoch----->30 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 12265.06 .. NELBO: 12265.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 5448.14 .. NELBO: 5448.14
****************************************************************************************************
Validation loss decreased (10896.292969 --> 10896.283203).  Saving model ...
Current call:  92
model: ETM(
  (t_drop): Dropout(p=0.05344695097361188, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=85, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=85, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=85, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 97.53 .. Rec_loss: 12264.46 .. NELBO: 12361.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.78 .. Rec_loss: 5444.7 .. NELBO: 5453.48
****************************************************************************************************
Validation loss decreased (inf --> 10906.950195).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 9.41 .. Rec_loss: 12250.44 .. NELBO: 12259.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.49 .. Rec_loss: 5433.73 .. NELBO: 5434.22
****************************************************************************************************
Validation loss decreased (10906.950195 --> 10868.449219).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.7 .. Rec_loss: 12214.08 .. NELBO: 12214.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5412.15 .. NELBO: 5412.23
****************************************************************************************************
Validation loss decreased (10868.449219 --> 10824.456055).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 12147.44 .. NELBO: 12147.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5380.61 .. NELBO: 5380.64
****************************************************************************************************
Validation loss decreased (10824.456055 --> 10761.284180).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12053.37 .. NELBO: 12053.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5344.39 .. NELBO: 5344.41
****************************************************************************************************
Validation loss decreased (10761.284180 --> 10688.815430).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11945.71 .. NELBO: 11945.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.58 .. NELBO: 5313.6
****************************************************************************************************
Validation loss decreased (10688.815430 --> 10627.203125).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11849.47 .. NELBO: 11849.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.63 .. NELBO: 5300.65
****************************************************************************************************
Validation loss decreased (10627.203125 --> 10601.303711).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11791.27 .. NELBO: 11791.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.13 .. NELBO: 5311.15
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11779.71 .. NELBO: 11779.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5334.31 .. NELBO: 5334.33
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.2 .. NELBO: 11792.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.13 .. NELBO: 5351.15
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.86 .. NELBO: 11796.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.91 .. NELBO: 5353.93
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11786.19 .. NELBO: 11786.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5348.09 .. NELBO: 5348.11
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05344695097361188, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=85, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=85, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=85, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 89.77 .. Rec_loss: 12264.89 .. NELBO: 12354.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.01 .. Rec_loss: 5444.63 .. NELBO: 5452.64
****************************************************************************************************
Validation loss decreased (inf --> 10905.269531).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.71 .. Rec_loss: 12250.48 .. NELBO: 12259.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.48 .. Rec_loss: 5433.77 .. NELBO: 5434.25
****************************************************************************************************
Validation loss decreased (10905.269531 --> 10868.495117).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.67 .. Rec_loss: 12214.6 .. NELBO: 12215.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5412.82 .. NELBO: 5412.9
****************************************************************************************************
Validation loss decreased (10868.495117 --> 10825.793945).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12150.06 .. NELBO: 12150.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5382.0 .. NELBO: 5382.03
****************************************************************************************************
Validation loss decreased (10825.793945 --> 10764.063477).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12058.68 .. NELBO: 12058.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.11 .. NELBO: 5346.13
****************************************************************************************************
Validation loss decreased (10764.063477 --> 10692.255859).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11952.3 .. NELBO: 11952.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5314.78 .. NELBO: 5314.8
****************************************************************************************************
Validation loss decreased (10692.255859 --> 10629.595703).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11854.85 .. NELBO: 11854.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.37 .. NELBO: 5300.39
****************************************************************************************************
Validation loss decreased (10629.595703 --> 10600.773438).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.57 .. NELBO: 11793.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5309.3 .. NELBO: 5309.32
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11779.19 .. NELBO: 11779.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5332.22 .. NELBO: 5332.24
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11790.5 .. NELBO: 11790.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.11 .. NELBO: 5350.13
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.44 .. NELBO: 11796.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5354.13 .. NELBO: 5354.15
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11786.84 .. NELBO: 11786.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5348.86 .. NELBO: 5348.88
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05344695097361188, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=85, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=85, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=85, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 91.47 .. Rec_loss: 12264.44 .. NELBO: 12355.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.08 .. Rec_loss: 5444.42 .. NELBO: 5452.5
****************************************************************************************************
Validation loss decreased (inf --> 10905.010742).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.71 .. Rec_loss: 12249.7 .. NELBO: 12258.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.46 .. Rec_loss: 5432.99 .. NELBO: 5433.45
****************************************************************************************************
Validation loss decreased (10905.010742 --> 10866.887695).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.66 .. Rec_loss: 12212.21 .. NELBO: 12212.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5411.09 .. NELBO: 5411.17
****************************************************************************************************
Validation loss decreased (10866.887695 --> 10822.342773).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12145.02 .. NELBO: 12145.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5379.45 .. NELBO: 5379.48
****************************************************************************************************
Validation loss decreased (10822.342773 --> 10758.962891).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12051.33 .. NELBO: 12051.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5343.34 .. NELBO: 5343.36
****************************************************************************************************
Validation loss decreased (10758.962891 --> 10686.715820).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11944.26 .. NELBO: 11944.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.86 .. NELBO: 5312.88
****************************************************************************************************
Validation loss decreased (10686.715820 --> 10625.755859).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11849.1 .. NELBO: 11849.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.28 .. NELBO: 5300.3
****************************************************************************************************
Validation loss decreased (10625.755859 --> 10600.590820).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11791.65 .. NELBO: 11791.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.9 .. NELBO: 5310.92
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.59 .. NELBO: 11780.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5333.9 .. NELBO: 5333.92
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.36 .. NELBO: 11792.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.44 .. NELBO: 5350.46
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.18 .. NELBO: 11796.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.2 .. NELBO: 5353.22
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11785.73 .. NELBO: 11785.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.48 .. NELBO: 5347.5
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  93
model: ETM(
  (t_drop): Dropout(p=0.014719673576337014, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=71, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=71, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=71, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 75.22 .. Rec_loss: 12264.12 .. NELBO: 12339.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.14 .. Rec_loss: 5444.18 .. NELBO: 5451.32
****************************************************************************************************
Validation loss decreased (inf --> 10902.637695).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.82 .. Rec_loss: 12249.17 .. NELBO: 12256.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 5432.44 .. NELBO: 5432.89
****************************************************************************************************
Validation loss decreased (10902.637695 --> 10865.792969).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.63 .. Rec_loss: 12210.46 .. NELBO: 12211.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5409.94 .. NELBO: 5410.01
****************************************************************************************************
Validation loss decreased (10865.792969 --> 10820.011719).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12141.23 .. NELBO: 12141.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5377.84 .. NELBO: 5377.86
****************************************************************************************************
Validation loss decreased (10820.011719 --> 10755.731445).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12045.39 .. NELBO: 12045.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5341.66 .. NELBO: 5341.68
****************************************************************************************************
Validation loss decreased (10755.731445 --> 10683.362305).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11938.49 .. NELBO: 11938.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.78 .. NELBO: 5311.8
****************************************************************************************************
Validation loss decreased (10683.362305 --> 10623.582031).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11844.81 .. NELBO: 11844.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.39 .. NELBO: 5300.41
****************************************************************************************************
Validation loss decreased (10623.582031 --> 10600.806641).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11789.98 .. NELBO: 11790.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.1 .. NELBO: 5312.12
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11780.91 .. NELBO: 11780.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.27 .. NELBO: 5335.29
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11792.98 .. NELBO: 11793.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.33 .. NELBO: 5351.35
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.29 .. NELBO: 11796.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.68 .. NELBO: 5353.7
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11785.39 .. NELBO: 11785.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.8 .. NELBO: 5347.82
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.014719673576337014, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=71, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=71, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=71, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 74.23 .. Rec_loss: 12264.14 .. NELBO: 12338.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.37 .. Rec_loss: 5443.71 .. NELBO: 5451.08
****************************************************************************************************
Validation loss decreased (inf --> 10902.171875).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.99 .. Rec_loss: 12247.49 .. NELBO: 12255.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.41 .. Rec_loss: 5431.14 .. NELBO: 5431.55
****************************************************************************************************
Validation loss decreased (10902.171875 --> 10863.086914).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.57 .. Rec_loss: 12206.28 .. NELBO: 12206.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5407.58 .. NELBO: 5407.64
****************************************************************************************************
Validation loss decreased (10863.086914 --> 10815.282227).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12134.59 .. NELBO: 12134.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5374.66 .. NELBO: 5374.68
****************************************************************************************************
Validation loss decreased (10815.282227 --> 10749.355469).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12037.08 .. NELBO: 12037.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5338.46 .. NELBO: 5338.48
****************************************************************************************************
Validation loss decreased (10749.355469 --> 10676.951172).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11930.21 .. NELBO: 11930.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5309.73 .. NELBO: 5309.74
****************************************************************************************************
Validation loss decreased (10676.951172 --> 10619.483398).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11838.63 .. NELBO: 11838.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.34 .. NELBO: 5300.35
****************************************************************************************************
Validation loss decreased (10619.483398 --> 10600.708984).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11787.84 .. NELBO: 11787.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5313.61 .. NELBO: 5313.62
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.21 .. NELBO: 11781.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5336.76 .. NELBO: 5336.77
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11793.56 .. NELBO: 11793.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5351.71 .. NELBO: 5351.72
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.65 .. NELBO: 11795.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.11 .. NELBO: 5353.12
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11783.81 .. NELBO: 11783.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5346.98 .. NELBO: 5346.99
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.014719673576337014, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=71, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=71, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=71, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 78.28 .. Rec_loss: 12264.41 .. NELBO: 12342.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.96 .. Rec_loss: 5444.24 .. NELBO: 5451.2
****************************************************************************************************
Validation loss decreased (inf --> 10902.388672).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.58 .. Rec_loss: 12249.12 .. NELBO: 12256.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.44 .. Rec_loss: 5432.93 .. NELBO: 5433.37
****************************************************************************************************
Validation loss decreased (10902.388672 --> 10866.737305).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.62 .. Rec_loss: 12212.66 .. NELBO: 12213.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5411.41 .. NELBO: 5411.49
****************************************************************************************************
Validation loss decreased (10866.737305 --> 10822.980469).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12146.05 .. NELBO: 12146.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5380.16 .. NELBO: 5380.19
****************************************************************************************************
Validation loss decreased (10822.980469 --> 10760.375977).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12052.96 .. NELBO: 12053.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5344.21 .. NELBO: 5344.23
****************************************************************************************************
Validation loss decreased (10760.375977 --> 10688.454102).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11947.03 .. NELBO: 11947.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.39 .. NELBO: 5313.41
****************************************************************************************************
Validation loss decreased (10688.454102 --> 10626.810547).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11850.15 .. NELBO: 11850.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.08 .. NELBO: 5300.1
****************************************************************************************************
Validation loss decreased (10626.810547 --> 10600.195312).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11791.52 .. NELBO: 11791.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.24 .. NELBO: 5310.26
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11779.15 .. NELBO: 11779.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5333.58 .. NELBO: 5333.6
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11791.53 .. NELBO: 11791.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.89 .. NELBO: 5350.91
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.77 .. NELBO: 11796.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5354.15 .. NELBO: 5354.17
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11786.02 .. NELBO: 11786.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5348.55 .. NELBO: 5348.57
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  94
model: ETM(
  (t_drop): Dropout(p=0.055983368179274524, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=95, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=95, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=95, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 97.05 .. Rec_loss: 12264.2 .. NELBO: 12361.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.92 .. Rec_loss: 5443.88 .. NELBO: 5451.8
****************************************************************************************************
Validation loss decreased (inf --> 10903.608398).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.63 .. Rec_loss: 12247.62 .. NELBO: 12256.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.5 .. Rec_loss: 5431.35 .. NELBO: 5431.85
****************************************************************************************************
Validation loss decreased (10903.608398 --> 10863.702148).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.71 .. Rec_loss: 12206.75 .. NELBO: 12207.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5407.57 .. NELBO: 5407.65
****************************************************************************************************
Validation loss decreased (10863.702148 --> 10815.302734).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12134.11 .. NELBO: 12134.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5374.28 .. NELBO: 5374.31
****************************************************************************************************
Validation loss decreased (10815.302734 --> 10748.605469).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12035.3 .. NELBO: 12035.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.86 .. NELBO: 5337.88
****************************************************************************************************
Validation loss decreased (10748.605469 --> 10675.764648).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11927.12 .. NELBO: 11927.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5309.42 .. NELBO: 5309.44
****************************************************************************************************
Validation loss decreased (10675.764648 --> 10618.871094).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11836.5 .. NELBO: 11836.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.87 .. NELBO: 5300.89
****************************************************************************************************
Validation loss decreased (10618.871094 --> 10601.770508).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11787.16 .. NELBO: 11787.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5314.88 .. NELBO: 5314.9
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11782.17 .. NELBO: 11782.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.87 .. NELBO: 5337.89
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.77 .. NELBO: 11793.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.03 .. NELBO: 5352.05
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.34 .. NELBO: 11795.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.73 .. NELBO: 5352.75
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11783.03 .. NELBO: 11783.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.29 .. NELBO: 5346.31
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.055983368179274524, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=95, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=95, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=95, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 94.67 .. Rec_loss: 12263.81 .. NELBO: 12358.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.2 .. Rec_loss: 5443.81 .. NELBO: 5452.01
****************************************************************************************************
Validation loss decreased (inf --> 10904.014648).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.83 .. Rec_loss: 12247.37 .. NELBO: 12256.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.46 .. Rec_loss: 5431.36 .. NELBO: 5431.82
****************************************************************************************************
Validation loss decreased (10904.014648 --> 10863.633789).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.65 .. Rec_loss: 12206.58 .. NELBO: 12207.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5408.25 .. NELBO: 5408.33
****************************************************************************************************
Validation loss decreased (10863.633789 --> 10816.645508).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12135.92 .. NELBO: 12136.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5375.62 .. NELBO: 5375.65
****************************************************************************************************
Validation loss decreased (10816.645508 --> 10751.300781).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12038.1 .. NELBO: 12038.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5339.44 .. NELBO: 5339.46
****************************************************************************************************
Validation loss decreased (10751.300781 --> 10678.928711).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11931.18 .. NELBO: 11931.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.43 .. NELBO: 5310.45
****************************************************************************************************
Validation loss decreased (10678.928711 --> 10620.907227).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11838.99 .. NELBO: 11839.03
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.7 .. NELBO: 5300.72
****************************************************************************************************
Validation loss decreased (10620.907227 --> 10601.438477).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11787.32 .. NELBO: 11787.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.89 .. NELBO: 5313.91
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.49 .. NELBO: 11780.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.2 .. NELBO: 5337.22
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.28 .. NELBO: 11793.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.22 .. NELBO: 5352.24
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.02 .. NELBO: 11796.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.44 .. NELBO: 5353.46
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11784.19 .. NELBO: 11784.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.06 .. NELBO: 5347.08
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.055983368179274524, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=95, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=95, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=95, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 89.59 .. Rec_loss: 12264.46 .. NELBO: 12354.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.09 .. Rec_loss: 5444.52 .. NELBO: 5452.61
****************************************************************************************************
Validation loss decreased (inf --> 10905.209961).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.73 .. Rec_loss: 12250.17 .. NELBO: 12258.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.41 .. Rec_loss: 5433.42 .. NELBO: 5433.83
****************************************************************************************************
Validation loss decreased (10905.209961 --> 10867.659180).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.59 .. Rec_loss: 12213.42 .. NELBO: 12214.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5411.77 .. NELBO: 5411.84
****************************************************************************************************
Validation loss decreased (10867.659180 --> 10823.693359).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12146.91 .. NELBO: 12147.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5380.34 .. NELBO: 5380.37
****************************************************************************************************
Validation loss decreased (10823.693359 --> 10760.729492).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12053.54 .. NELBO: 12053.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5344.21 .. NELBO: 5344.23
****************************************************************************************************
Validation loss decreased (10760.729492 --> 10688.463867).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11946.26 .. NELBO: 11946.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.44 .. NELBO: 5313.46
****************************************************************************************************
Validation loss decreased (10688.463867 --> 10626.921875).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11850.52 .. NELBO: 11850.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.37 .. NELBO: 5300.39
****************************************************************************************************
Validation loss decreased (10626.921875 --> 10600.771484).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.37 .. NELBO: 11792.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.64 .. NELBO: 5310.66
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.32 .. NELBO: 11780.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5333.72 .. NELBO: 5333.74
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11791.85 .. NELBO: 11791.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.63 .. NELBO: 5350.65
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.12 .. NELBO: 11796.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.72 .. NELBO: 5353.74
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11785.97 .. NELBO: 11786.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5348.13 .. NELBO: 5348.15
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  95
model: ETM(
  (t_drop): Dropout(p=0.056529288725180704, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=73, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=73, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=73, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 77.86 .. Rec_loss: 12263.8 .. NELBO: 12341.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.11 .. Rec_loss: 5443.62 .. NELBO: 5450.73
****************************************************************************************************
Validation loss decreased (inf --> 10901.472656).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.72 .. Rec_loss: 12246.83 .. NELBO: 12254.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.36 .. Rec_loss: 5430.8 .. NELBO: 5431.16
****************************************************************************************************
Validation loss decreased (10901.472656 --> 10862.323242).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.51 .. Rec_loss: 12205.0 .. NELBO: 12205.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5406.74 .. NELBO: 5406.8
****************************************************************************************************
Validation loss decreased (10862.323242 --> 10813.585938).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 12130.66 .. NELBO: 12130.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5373.21 .. NELBO: 5373.23
****************************************************************************************************
Validation loss decreased (10813.585938 --> 10746.468750).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12032.01 .. NELBO: 12032.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5336.71 .. NELBO: 5336.72
****************************************************************************************************
Validation loss decreased (10746.468750 --> 10673.441406).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11923.63 .. NELBO: 11923.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5308.45 .. NELBO: 5308.46
****************************************************************************************************
Validation loss decreased (10673.441406 --> 10616.933594).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11832.94 .. NELBO: 11832.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.52 .. NELBO: 5300.53
****************************************************************************************************
Validation loss decreased (10616.933594 --> 10601.074219).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11785.3 .. NELBO: 11785.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5315.41 .. NELBO: 5315.42
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.77 .. NELBO: 11781.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5338.85 .. NELBO: 5338.86
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11794.13 .. NELBO: 11794.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5352.76 .. NELBO: 5352.77
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.31 .. NELBO: 11795.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.08 .. NELBO: 5353.09
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11782.72 .. NELBO: 11782.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5346.46 .. NELBO: 5346.47
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.056529288725180704, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=73, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=73, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=73, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 86.18 .. Rec_loss: 12263.97 .. NELBO: 12350.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.4 .. Rec_loss: 5443.89 .. NELBO: 5451.29
****************************************************************************************************
Validation loss decreased (inf --> 10902.593750).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.97 .. Rec_loss: 12248.39 .. NELBO: 12256.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 5432.35 .. NELBO: 5432.78
****************************************************************************************************
Validation loss decreased (10902.593750 --> 10865.563477).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.62 .. Rec_loss: 12210.23 .. NELBO: 12210.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5409.98 .. NELBO: 5410.06
****************************************************************************************************
Validation loss decreased (10865.563477 --> 10820.121094).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12141.09 .. NELBO: 12141.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5377.95 .. NELBO: 5377.98
****************************************************************************************************
Validation loss decreased (10820.121094 --> 10755.960938).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12046.4 .. NELBO: 12046.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5341.74 .. NELBO: 5341.76
****************************************************************************************************
Validation loss decreased (10755.960938 --> 10683.517578).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11939.11 .. NELBO: 11939.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.73 .. NELBO: 5311.75
****************************************************************************************************
Validation loss decreased (10683.517578 --> 10623.492188).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11845.25 .. NELBO: 11845.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.26 .. NELBO: 5300.28
****************************************************************************************************
Validation loss decreased (10623.492188 --> 10600.551758).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11789.98 .. NELBO: 11790.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.08 .. NELBO: 5312.1
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.71 .. NELBO: 11780.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.41 .. NELBO: 5335.43
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.19 .. NELBO: 11793.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.41 .. NELBO: 5351.43
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.99 .. NELBO: 11797.03
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.51 .. NELBO: 5353.53
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11784.89 .. NELBO: 11784.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.51 .. NELBO: 5347.53
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.056529288725180704, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=73, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=73, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=73, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 84.57 .. Rec_loss: 12264.07 .. NELBO: 12348.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.28 .. Rec_loss: 5443.98 .. NELBO: 5452.26
****************************************************************************************************
Validation loss decreased (inf --> 10904.511719).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.89 .. Rec_loss: 12247.96 .. NELBO: 12256.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.36 .. Rec_loss: 5431.78 .. NELBO: 5432.14
****************************************************************************************************
Validation loss decreased (10904.511719 --> 10864.268555).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.52 .. Rec_loss: 12207.94 .. NELBO: 12208.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5409.15 .. NELBO: 5409.21
****************************************************************************************************
Validation loss decreased (10864.268555 --> 10818.425781).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 12138.69 .. NELBO: 12138.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5377.14 .. NELBO: 5377.16
****************************************************************************************************
Validation loss decreased (10818.425781 --> 10754.330078).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12043.25 .. NELBO: 12043.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5341.28 .. NELBO: 5341.3
****************************************************************************************************
Validation loss decreased (10754.330078 --> 10682.582031).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11936.38 .. NELBO: 11936.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5311.81 .. NELBO: 5311.82
****************************************************************************************************
Validation loss decreased (10682.582031 --> 10623.655273).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11843.46 .. NELBO: 11843.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.8 .. NELBO: 5300.81
****************************************************************************************************
Validation loss decreased (10623.655273 --> 10601.635742).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11788.96 .. NELBO: 11788.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5312.69 .. NELBO: 5312.7
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11780.68 .. NELBO: 11780.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.74 .. NELBO: 5335.76
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11792.75 .. NELBO: 11792.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.45 .. NELBO: 5351.47
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.11 .. NELBO: 11796.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.48 .. NELBO: 5353.5
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11785.0 .. NELBO: 11785.03
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5347.45 .. NELBO: 5347.46
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  96
model: ETM(
  (t_drop): Dropout(p=0.05215725699850295, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 80.01 .. Rec_loss: 12264.53 .. NELBO: 12344.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.86 .. Rec_loss: 5444.2 .. NELBO: 5452.06
****************************************************************************************************
Validation loss decreased (inf --> 10904.111328).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.44 .. Rec_loss: 12249.28 .. NELBO: 12257.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 5432.57 .. NELBO: 5432.95
****************************************************************************************************
Validation loss decreased (10904.111328 --> 10865.895508).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.54 .. Rec_loss: 12211.2 .. NELBO: 12211.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5410.36 .. NELBO: 5410.43
****************************************************************************************************
Validation loss decreased (10865.895508 --> 10820.860352).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12143.11 .. NELBO: 12143.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5378.43 .. NELBO: 5378.45
****************************************************************************************************
Validation loss decreased (10820.860352 --> 10756.902344).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12048.17 .. NELBO: 12048.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5342.18 .. NELBO: 5342.2
****************************************************************************************************
Validation loss decreased (10756.902344 --> 10684.402344).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11941.65 .. NELBO: 11941.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.97 .. NELBO: 5311.99
****************************************************************************************************
Validation loss decreased (10684.402344 --> 10623.982422).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11846.47 .. NELBO: 11846.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.11 .. NELBO: 5300.13
****************************************************************************************************
Validation loss decreased (10623.982422 --> 10600.264648).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11790.82 .. NELBO: 11790.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.53 .. NELBO: 5311.55
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.97 .. NELBO: 11781.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5334.71 .. NELBO: 5334.73
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.75 .. NELBO: 11792.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.85 .. NELBO: 5350.87
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.9 .. NELBO: 11795.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.24 .. NELBO: 5353.26
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11785.01 .. NELBO: 11785.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.48 .. NELBO: 5347.5
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05215725699850295, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 87.72 .. Rec_loss: 12264.24 .. NELBO: 12351.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.89 .. Rec_loss: 5444.03 .. NELBO: 5451.92
****************************************************************************************************
Validation loss decreased (inf --> 10903.829102).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.57 .. Rec_loss: 12248.54 .. NELBO: 12257.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 5431.94 .. NELBO: 5432.39
****************************************************************************************************
Validation loss decreased (10903.829102 --> 10864.780273).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.64 .. Rec_loss: 12208.86 .. NELBO: 12209.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5409.07 .. NELBO: 5409.15
****************************************************************************************************
Validation loss decreased (10864.780273 --> 10818.288086).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12138.74 .. NELBO: 12138.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5376.61 .. NELBO: 5376.64
****************************************************************************************************
Validation loss decreased (10818.288086 --> 10753.266602).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12042.67 .. NELBO: 12042.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5340.36 .. NELBO: 5340.38
****************************************************************************************************
Validation loss decreased (10753.266602 --> 10680.754883).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11935.83 .. NELBO: 11935.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.91 .. NELBO: 5310.93
****************************************************************************************************
Validation loss decreased (10680.754883 --> 10621.850586).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11843.0 .. NELBO: 11843.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.37 .. NELBO: 5300.39
****************************************************************************************************
Validation loss decreased (10621.850586 --> 10600.787109).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11790.1 .. NELBO: 11790.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.74 .. NELBO: 5312.76
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.57 .. NELBO: 11781.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.75 .. NELBO: 5335.77
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.58 .. NELBO: 11793.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.0 .. NELBO: 5351.02
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.66 .. NELBO: 11795.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.71 .. NELBO: 5352.73
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11783.91 .. NELBO: 11783.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.75 .. NELBO: 5346.77
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05215725699850295, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 89.94 .. Rec_loss: 12264.05 .. NELBO: 12353.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.26 .. Rec_loss: 5443.96 .. NELBO: 5452.22
****************************************************************************************************
Validation loss decreased (inf --> 10904.448242).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.83 .. Rec_loss: 12248.78 .. NELBO: 12257.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.42 .. Rec_loss: 5432.48 .. NELBO: 5432.9
****************************************************************************************************
Validation loss decreased (10904.448242 --> 10865.786133).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.6 .. Rec_loss: 12211.11 .. NELBO: 12211.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5410.42 .. NELBO: 5410.49
****************************************************************************************************
Validation loss decreased (10865.786133 --> 10820.972656).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12143.27 .. NELBO: 12143.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5378.79 .. NELBO: 5378.81
****************************************************************************************************
Validation loss decreased (10820.972656 --> 10757.618164).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12048.96 .. NELBO: 12049.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5342.87 .. NELBO: 5342.89
****************************************************************************************************
Validation loss decreased (10757.618164 --> 10685.778320).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11942.14 .. NELBO: 11942.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.75 .. NELBO: 5312.77
****************************************************************************************************
Validation loss decreased (10685.778320 --> 10625.534180).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11847.62 .. NELBO: 11847.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.5 .. NELBO: 5300.52
****************************************************************************************************
Validation loss decreased (10625.534180 --> 10601.037109).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11790.93 .. NELBO: 11790.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.21 .. NELBO: 5311.23
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11780.08 .. NELBO: 11780.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5334.09 .. NELBO: 5334.11
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11791.84 .. NELBO: 11791.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.56 .. NELBO: 5350.58
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.8 .. NELBO: 11795.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.38 .. NELBO: 5353.4
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11785.18 .. NELBO: 11785.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5347.75 .. NELBO: 5347.76
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  97
model: ETM(
  (t_drop): Dropout(p=0.056348600427567015, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=92, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=92, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=92, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 91.69 .. Rec_loss: 12264.32 .. NELBO: 12356.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.33 .. Rec_loss: 5444.38 .. NELBO: 5452.71
****************************************************************************************************
Validation loss decreased (inf --> 10905.413086).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.95 .. Rec_loss: 12249.06 .. NELBO: 12258.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.42 .. Rec_loss: 5432.24 .. NELBO: 5432.66
****************************************************************************************************
Validation loss decreased (10905.413086 --> 10865.315430).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.6 .. Rec_loss: 12209.2 .. NELBO: 12209.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5409.18 .. NELBO: 5409.25
****************************************************************************************************
Validation loss decreased (10865.315430 --> 10818.500000).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12138.65 .. NELBO: 12138.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5376.48 .. NELBO: 5376.51
****************************************************************************************************
Validation loss decreased (10818.500000 --> 10753.006836).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12040.7 .. NELBO: 12040.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5340.06 .. NELBO: 5340.08
****************************************************************************************************
Validation loss decreased (10753.006836 --> 10680.157227).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11933.94 .. NELBO: 11933.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.68 .. NELBO: 5310.7
****************************************************************************************************
Validation loss decreased (10680.157227 --> 10621.405273).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11841.04 .. NELBO: 11841.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.52 .. NELBO: 5300.54
****************************************************************************************************
Validation loss decreased (10621.405273 --> 10601.077148).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11788.24 .. NELBO: 11788.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.38 .. NELBO: 5313.4
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.31 .. NELBO: 11781.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.58 .. NELBO: 5336.6
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.39 .. NELBO: 11793.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.66 .. NELBO: 5351.68
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.43 .. NELBO: 11796.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.08 .. NELBO: 5353.1
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11784.17 .. NELBO: 11784.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.9 .. NELBO: 5346.92
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.056348600427567015, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=92, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=92, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=92, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 84.84 .. Rec_loss: 12263.82 .. NELBO: 12348.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.96 .. Rec_loss: 5443.43 .. NELBO: 5451.39
****************************************************************************************************
Validation loss decreased (inf --> 10902.779297).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.76 .. Rec_loss: 12246.04 .. NELBO: 12254.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.44 .. Rec_loss: 5429.79 .. NELBO: 5430.23
****************************************************************************************************
Validation loss decreased (10902.779297 --> 10860.461914).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.63 .. Rec_loss: 12202.02 .. NELBO: 12202.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5404.88 .. NELBO: 5404.95
****************************************************************************************************
Validation loss decreased (10860.461914 --> 10809.902344).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12126.84 .. NELBO: 12126.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5370.9 .. NELBO: 5370.93
****************************************************************************************************
Validation loss decreased (10809.902344 --> 10741.844727).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12026.7 .. NELBO: 12026.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5334.62 .. NELBO: 5334.64
****************************************************************************************************
Validation loss decreased (10741.844727 --> 10669.284180).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11919.73 .. NELBO: 11919.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5307.42 .. NELBO: 5307.44
****************************************************************************************************
Validation loss decreased (10669.284180 --> 10614.877930).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11832.08 .. NELBO: 11832.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.77 .. NELBO: 5300.79
****************************************************************************************************
Validation loss decreased (10614.877930 --> 10601.569336).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11786.68 .. NELBO: 11786.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5316.03 .. NELBO: 5316.05
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11783.74 .. NELBO: 11783.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5338.69 .. NELBO: 5338.71
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.01 .. NELBO: 11795.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.72 .. NELBO: 5351.74
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11794.42 .. NELBO: 11794.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.77 .. NELBO: 5351.79
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11782.02 .. NELBO: 11782.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5345.33 .. NELBO: 5345.35
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.056348600427567015, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=92, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=92, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=92, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 93.72 .. Rec_loss: 12264.54 .. NELBO: 12358.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.34 .. Rec_loss: 5444.21 .. NELBO: 5452.55
****************************************************************************************************
Validation loss decreased (inf --> 10905.091797).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 9.0 .. Rec_loss: 12249.54 .. NELBO: 12258.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 5432.59 .. NELBO: 5433.02
****************************************************************************************************
Validation loss decreased (10905.091797 --> 10866.035156).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.61 .. Rec_loss: 12211.27 .. NELBO: 12211.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5410.23 .. NELBO: 5410.3
****************************************************************************************************
Validation loss decreased (10866.035156 --> 10820.596680).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12142.67 .. NELBO: 12142.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5378.19 .. NELBO: 5378.22
****************************************************************************************************
Validation loss decreased (10820.596680 --> 10756.436523).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12048.15 .. NELBO: 12048.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5342.0 .. NELBO: 5342.02
****************************************************************************************************
Validation loss decreased (10756.436523 --> 10684.044922).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11941.21 .. NELBO: 11941.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.01 .. NELBO: 5312.03
****************************************************************************************************
Validation loss decreased (10684.044922 --> 10624.061523).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11847.32 .. NELBO: 11847.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.36 .. NELBO: 5300.38
****************************************************************************************************
Validation loss decreased (10624.061523 --> 10600.751953).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.06 .. NELBO: 11792.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.67 .. NELBO: 5311.69
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11782.06 .. NELBO: 11782.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5334.46 .. NELBO: 5334.48
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.19 .. NELBO: 11793.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.33 .. NELBO: 5350.35
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.53 .. NELBO: 11796.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.68 .. NELBO: 5352.7
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11784.75 .. NELBO: 11784.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.98 .. NELBO: 5347.0
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  98
model: ETM(
  (t_drop): Dropout(p=0.05593318717084295, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=63, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=63, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=63, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 79.49 .. Rec_loss: 12264.16 .. NELBO: 12343.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.83 .. Rec_loss: 5443.59 .. NELBO: 5451.42
****************************************************************************************************
Validation loss decreased (inf --> 10902.835938).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.36 .. Rec_loss: 12247.39 .. NELBO: 12255.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 5431.48 .. NELBO: 5431.91
****************************************************************************************************
Validation loss decreased (10902.835938 --> 10863.812500).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.65 .. Rec_loss: 12207.14 .. NELBO: 12207.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5408.35 .. NELBO: 5408.44
****************************************************************************************************
Validation loss decreased (10863.812500 --> 10816.891602).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.15 .. Rec_loss: 12136.59 .. NELBO: 12136.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5375.8 .. NELBO: 5375.84
****************************************************************************************************
Validation loss decreased (10816.891602 --> 10751.665039).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 12040.63 .. NELBO: 12040.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5339.65 .. NELBO: 5339.68
****************************************************************************************************
Validation loss decreased (10751.665039 --> 10679.351562).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11933.16 .. NELBO: 11933.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5310.5 .. NELBO: 5310.53
****************************************************************************************************
Validation loss decreased (10679.351562 --> 10621.050781).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11840.8 .. NELBO: 11840.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5300.44 .. NELBO: 5300.48
****************************************************************************************************
Validation loss decreased (10621.050781 --> 10600.947266).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 11788.39 .. NELBO: 11788.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5313.28 .. NELBO: 5313.32
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 11781.27 .. NELBO: 11781.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5336.4 .. NELBO: 5336.45
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 11793.55 .. NELBO: 11793.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5351.36 .. NELBO: 5351.41
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 11795.86 .. NELBO: 11795.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5352.7 .. NELBO: 5352.74
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 11783.65 .. NELBO: 11783.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5346.57 .. NELBO: 5346.6
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05593318717084295, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=63, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=63, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=63, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 88.38 .. Rec_loss: 12263.57 .. NELBO: 12351.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.18 .. Rec_loss: 5443.84 .. NELBO: 5452.02
****************************************************************************************************
Validation loss decreased (inf --> 10904.039062).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.66 .. Rec_loss: 12248.41 .. NELBO: 12257.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.46 .. Rec_loss: 5432.49 .. NELBO: 5432.95
****************************************************************************************************
Validation loss decreased (10904.039062 --> 10865.892578).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.67 .. Rec_loss: 12210.39 .. NELBO: 12211.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5410.27 .. NELBO: 5410.35
****************************************************************************************************
Validation loss decreased (10865.892578 --> 10820.711914).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12142.01 .. NELBO: 12142.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5378.38 .. NELBO: 5378.4
****************************************************************************************************
Validation loss decreased (10820.711914 --> 10756.809570).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12047.08 .. NELBO: 12047.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5342.27 .. NELBO: 5342.29
****************************************************************************************************
Validation loss decreased (10756.809570 --> 10684.567383).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11939.67 .. NELBO: 11939.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5312.16 .. NELBO: 5312.17
****************************************************************************************************
Validation loss decreased (10684.567383 --> 10624.357422).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11844.73 .. NELBO: 11844.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.33 .. NELBO: 5300.34
****************************************************************************************************
Validation loss decreased (10624.357422 --> 10600.694336).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11789.32 .. NELBO: 11789.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5311.75 .. NELBO: 5311.76
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11779.94 .. NELBO: 11779.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5335.01 .. NELBO: 5335.02
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11792.48 .. NELBO: 11792.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5351.4 .. NELBO: 5351.41
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.32 .. NELBO: 11796.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.91 .. NELBO: 5353.92
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11785.57 .. NELBO: 11785.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5348.02 .. NELBO: 5348.03
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05593318717084295, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=63, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=63, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=63, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 79.86 .. Rec_loss: 12264.05 .. NELBO: 12343.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.54 .. Rec_loss: 5444.11 .. NELBO: 5451.65
****************************************************************************************************
Validation loss decreased (inf --> 10903.305664).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.14 .. Rec_loss: 12248.53 .. NELBO: 12256.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 5432.14 .. NELBO: 5432.59
****************************************************************************************************
Validation loss decreased (10903.305664 --> 10865.169922).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.63 .. Rec_loss: 12209.9 .. NELBO: 12210.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5410.02 .. NELBO: 5410.09
****************************************************************************************************
Validation loss decreased (10865.169922 --> 10820.170898).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12142.44 .. NELBO: 12142.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5378.38 .. NELBO: 5378.4
****************************************************************************************************
Validation loss decreased (10820.170898 --> 10756.800781).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12048.61 .. NELBO: 12048.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5342.45 .. NELBO: 5342.46
****************************************************************************************************
Validation loss decreased (10756.800781 --> 10684.927734).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11942.52 .. NELBO: 11942.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5312.32 .. NELBO: 5312.33
****************************************************************************************************
Validation loss decreased (10684.927734 --> 10624.661133).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11847.6 .. NELBO: 11847.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.07 .. NELBO: 5300.08
****************************************************************************************************
Validation loss decreased (10624.661133 --> 10600.173828).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11791.48 .. NELBO: 11791.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5310.82 .. NELBO: 5310.83
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11780.53 .. NELBO: 11780.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5333.74 .. NELBO: 5333.75
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11792.34 .. NELBO: 11792.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5350.21 .. NELBO: 5350.22
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.26 .. NELBO: 11796.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.07 .. NELBO: 5353.08
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11784.89 .. NELBO: 11784.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5347.53 .. NELBO: 5347.54
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  99
model: ETM(
  (t_drop): Dropout(p=0.05861084383625655, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=61, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=61, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=61, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.25 .. Rec_loss: 12263.7 .. NELBO: 12263.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.52 .. Rec_loss: 5442.91 .. NELBO: 5443.43
****************************************************************************************************
Validation loss decreased (inf --> 10886.857422).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.61 .. Rec_loss: 12243.14 .. NELBO: 12244.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5427.22 .. NELBO: 5427.25
****************************************************************************************************
Validation loss decreased (10886.857422 --> 10854.501953).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12192.94 .. NELBO: 12193.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 5400.08 .. NELBO: 5400.19
****************************************************************************************************
Validation loss decreased (10854.501953 --> 10800.380859).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.35 .. Rec_loss: 12111.35 .. NELBO: 12111.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.75 .. Rec_loss: 5364.17 .. NELBO: 5364.92
****************************************************************************************************
Validation loss decreased (10800.380859 --> 10729.822266).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 2.45 .. Rec_loss: 12005.3 .. NELBO: 12007.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.07 .. Rec_loss: 5328.31 .. NELBO: 5329.38
****************************************************************************************************
Validation loss decreased (10729.822266 --> 10658.763672).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 1.37 .. Rec_loss: 11899.86 .. NELBO: 11901.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.16 .. Rec_loss: 5304.63 .. NELBO: 5304.79
****************************************************************************************************
Validation loss decreased (10658.763672 --> 10609.581055).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.34 .. Rec_loss: 11819.76 .. NELBO: 11820.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.3 .. Rec_loss: 5302.37 .. NELBO: 5302.67
****************************************************************************************************
Validation loss decreased (10609.581055 --> 10605.344727).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.53 .. Rec_loss: 11782.83 .. NELBO: 11783.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.33 .. Rec_loss: 5319.78 .. NELBO: 5320.11
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.73 .. Rec_loss: 11784.28 .. NELBO: 11785.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.23 .. Rec_loss: 5340.8 .. NELBO: 5341.03
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.95 .. Rec_loss: 11793.4 .. NELBO: 11794.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.99 .. Rec_loss: 5349.21 .. NELBO: 5350.2
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 2.84 .. Rec_loss: 11786.88 .. NELBO: 11789.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.23 .. Rec_loss: 5343.75 .. NELBO: 5346.98
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 6.31 .. Rec_loss: 11769.56 .. NELBO: 11775.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.03 .. Rec_loss: 5339.36 .. NELBO: 5341.39
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05861084383625655, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=61, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=61, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=61, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.34 .. Rec_loss: 12263.45 .. NELBO: 12263.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.54 .. Rec_loss: 5442.36 .. NELBO: 5442.9
****************************************************************************************************
Validation loss decreased (inf --> 10885.804688).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.9 .. Rec_loss: 12240.9 .. NELBO: 12242.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5425.59 .. NELBO: 5425.64
****************************************************************************************************
Validation loss decreased (10885.804688 --> 10851.268555).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 12187.72 .. NELBO: 12187.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5397.17 .. NELBO: 5397.24
****************************************************************************************************
Validation loss decreased (10851.268555 --> 10794.477539).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.24 .. Rec_loss: 12102.55 .. NELBO: 12102.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.53 .. Rec_loss: 5360.54 .. NELBO: 5361.07
****************************************************************************************************
Validation loss decreased (10794.477539 --> 10722.125000).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 2.22 .. Rec_loss: 11994.28 .. NELBO: 11996.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.64 .. Rec_loss: 5324.83 .. NELBO: 5326.47
****************************************************************************************************
Validation loss decreased (10722.125000 --> 10652.955078).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 2.41 .. Rec_loss: 11889.11 .. NELBO: 11891.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5303.28 .. NELBO: 5303.36
****************************************************************************************************
Validation loss decreased (10652.955078 --> 10606.722656).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.33 .. Rec_loss: 11814.14 .. NELBO: 11814.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.23 .. Rec_loss: 5303.52 .. NELBO: 5303.75
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.62 .. Rec_loss: 11782.23 .. NELBO: 11782.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 5322.69 .. NELBO: 5322.8
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.47 .. Rec_loss: 11786.7 .. NELBO: 11787.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.37 .. Rec_loss: 5342.83 .. NELBO: 5343.2
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.72 .. Rec_loss: 11794.91 .. NELBO: 11795.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.29 .. Rec_loss: 5350.63 .. NELBO: 5350.92
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.78 .. Rec_loss: 11788.16 .. NELBO: 11788.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.81 .. Rec_loss: 5346.69 .. NELBO: 5347.5
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05861084383625655, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=61, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=61, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=61, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.23 .. Rec_loss: 12263.33 .. NELBO: 12263.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.66 .. Rec_loss: 5442.17 .. NELBO: 5442.83
****************************************************************************************************
Validation loss decreased (inf --> 10885.656250).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 0.97 .. Rec_loss: 12240.4 .. NELBO: 12241.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5424.98 .. NELBO: 5425.01
****************************************************************************************************
Validation loss decreased (10885.656250 --> 10850.010742).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.35 .. Rec_loss: 12186.29 .. NELBO: 12186.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 5395.86 .. NELBO: 5396.31
****************************************************************************************************
Validation loss decreased (10850.010742 --> 10792.619141).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 1.3 .. Rec_loss: 12098.6 .. NELBO: 12099.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.36 .. Rec_loss: 5358.87 .. NELBO: 5360.23
****************************************************************************************************
Validation loss decreased (10792.619141 --> 10720.454102).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 2.07 .. Rec_loss: 11991.02 .. NELBO: 11993.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.02 .. Rec_loss: 5323.83 .. NELBO: 5324.85
****************************************************************************************************
Validation loss decreased (10720.454102 --> 10649.699219).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 2.24 .. Rec_loss: 11885.58 .. NELBO: 11887.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.47 .. Rec_loss: 5302.34 .. NELBO: 5303.81
****************************************************************************************************
Validation loss decreased (10649.699219 --> 10607.630859).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 1.97 .. Rec_loss: 11810.65 .. NELBO: 11812.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.2 .. Rec_loss: 5303.28 .. NELBO: 5303.48
****************************************************************************************************
Validation loss decreased (10607.630859 --> 10606.963867).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.93 .. Rec_loss: 11781.2 .. NELBO: 11782.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5322.72 .. NELBO: 5322.8
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.34 .. Rec_loss: 11785.82 .. NELBO: 11786.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.5 .. Rec_loss: 5342.19 .. NELBO: 5342.69
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 1.19 .. Rec_loss: 11793.29 .. NELBO: 11794.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.32 .. Rec_loss: 5348.46 .. NELBO: 5349.78
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 2.65 .. Rec_loss: 11784.29 .. NELBO: 11786.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.26 .. Rec_loss: 5345.12 .. NELBO: 5346.38
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 2.83 .. Rec_loss: 11770.98 .. NELBO: 11773.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.76 .. Rec_loss: 5337.51 .. NELBO: 5339.27
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  100
model: ETM(
  (t_drop): Dropout(p=0.0559504538649013, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=57, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=57, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=57, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 73.57 .. Rec_loss: 12263.66 .. NELBO: 12337.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.29 .. Rec_loss: 5442.93 .. NELBO: 5450.22
****************************************************************************************************
Validation loss decreased (inf --> 10900.436523).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.84 .. Rec_loss: 12244.47 .. NELBO: 12252.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.36 .. Rec_loss: 5429.02 .. NELBO: 5429.38
****************************************************************************************************
Validation loss decreased (10900.436523 --> 10858.751953).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.51 .. Rec_loss: 12199.11 .. NELBO: 12199.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5404.12 .. NELBO: 5404.18
****************************************************************************************************
Validation loss decreased (10858.751953 --> 10808.360352).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 12123.88 .. NELBO: 12123.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5370.16 .. NELBO: 5370.18
****************************************************************************************************
Validation loss decreased (10808.360352 --> 10740.367188).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12023.33 .. NELBO: 12023.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5334.02 .. NELBO: 5334.03
****************************************************************************************************
Validation loss decreased (10740.367188 --> 10668.059570).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11915.81 .. NELBO: 11915.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5307.02 .. NELBO: 5307.03
****************************************************************************************************
Validation loss decreased (10668.059570 --> 10614.073242).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11828.23 .. NELBO: 11828.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.85 .. NELBO: 5300.86
****************************************************************************************************
Validation loss decreased (10614.073242 --> 10601.726562).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11783.66 .. NELBO: 11783.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5316.82 .. NELBO: 5316.83
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11782.66 .. NELBO: 11782.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5339.92 .. NELBO: 5339.93
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11795.21 .. NELBO: 11795.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5352.78 .. NELBO: 5352.79
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11794.46 .. NELBO: 11794.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5352.37 .. NELBO: 5352.38
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11781.25 .. NELBO: 11781.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5345.59 .. NELBO: 5345.6
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.0559504538649013, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=57, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=57, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=57, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 63.23 .. Rec_loss: 12264.31 .. NELBO: 12327.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.69 .. Rec_loss: 5443.76 .. NELBO: 5450.45
****************************************************************************************************
Validation loss decreased (inf --> 10900.906250).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.25 .. Rec_loss: 12247.98 .. NELBO: 12255.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.36 .. Rec_loss: 5431.62 .. NELBO: 5431.98
****************************************************************************************************
Validation loss decreased (10900.906250 --> 10863.959961).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.53 .. Rec_loss: 12207.76 .. NELBO: 12208.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5408.09 .. NELBO: 5408.16
****************************************************************************************************
Validation loss decreased (10863.959961 --> 10816.308594).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12135.77 .. NELBO: 12135.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5375.02 .. NELBO: 5375.04
****************************************************************************************************
Validation loss decreased (10816.308594 --> 10750.096680).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12037.71 .. NELBO: 12037.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5338.64 .. NELBO: 5338.66
****************************************************************************************************
Validation loss decreased (10750.096680 --> 10677.316406).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11929.99 .. NELBO: 11930.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5309.85 .. NELBO: 5309.87
****************************************************************************************************
Validation loss decreased (10677.316406 --> 10619.734375).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11838.65 .. NELBO: 11838.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.63 .. NELBO: 5300.65
****************************************************************************************************
Validation loss decreased (10619.734375 --> 10601.291016).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11788.12 .. NELBO: 11788.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5314.13 .. NELBO: 5314.15
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11782.02 .. NELBO: 11782.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.19 .. NELBO: 5337.21
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11793.95 .. NELBO: 11793.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.72 .. NELBO: 5351.74
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.78 .. NELBO: 11795.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.81 .. NELBO: 5352.83
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11782.76 .. NELBO: 11782.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.58 .. NELBO: 5346.6
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.0559504538649013, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=57, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=57, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=57, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 74.59 .. Rec_loss: 12264.19 .. NELBO: 12338.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.71 .. Rec_loss: 5443.9 .. NELBO: 5451.61
****************************************************************************************************
Validation loss decreased (inf --> 10903.231445).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.18 .. Rec_loss: 12247.82 .. NELBO: 12256.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.34 .. Rec_loss: 5431.82 .. NELBO: 5432.16
****************************************************************************************************
Validation loss decreased (10903.231445 --> 10864.335938).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.51 .. Rec_loss: 12208.93 .. NELBO: 12209.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5409.14 .. NELBO: 5409.21
****************************************************************************************************
Validation loss decreased (10864.335938 --> 10818.422852).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12139.2 .. NELBO: 12139.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5376.91 .. NELBO: 5376.93
****************************************************************************************************
Validation loss decreased (10818.422852 --> 10753.866211).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12043.62 .. NELBO: 12043.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5340.79 .. NELBO: 5340.81
****************************************************************************************************
Validation loss decreased (10753.866211 --> 10681.611328).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11936.54 .. NELBO: 11936.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5311.14 .. NELBO: 5311.15
****************************************************************************************************
Validation loss decreased (10681.611328 --> 10622.315430).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11842.42 .. NELBO: 11842.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.07 .. NELBO: 5300.08
****************************************************************************************************
Validation loss decreased (10622.315430 --> 10600.159180).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11788.39 .. NELBO: 11788.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5311.99 .. NELBO: 5312.0
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11780.1 .. NELBO: 11780.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5335.23 .. NELBO: 5335.24
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11792.29 .. NELBO: 11792.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5351.33 .. NELBO: 5351.34
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11797.08 .. NELBO: 11797.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.64 .. NELBO: 5353.65
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11785.53 .. NELBO: 11785.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5347.73 .. NELBO: 5347.74
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  101
model: ETM(
  (t_drop): Dropout(p=0.05693980885122232, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=85, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=85, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=85, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 94.26 .. Rec_loss: 12264.07 .. NELBO: 12358.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.46 .. Rec_loss: 5444.12 .. NELBO: 5452.58
****************************************************************************************************
Validation loss decreased (inf --> 10905.166992).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 9.15 .. Rec_loss: 12248.85 .. NELBO: 12258.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 5432.4 .. NELBO: 5432.85
****************************************************************************************************
Validation loss decreased (10905.166992 --> 10865.702148).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.64 .. Rec_loss: 12210.37 .. NELBO: 12211.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5409.96 .. NELBO: 5410.03
****************************************************************************************************
Validation loss decreased (10865.702148 --> 10820.069336).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12141.37 .. NELBO: 12141.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5377.81 .. NELBO: 5377.84
****************************************************************************************************
Validation loss decreased (10820.069336 --> 10755.672852).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12045.78 .. NELBO: 12045.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5341.55 .. NELBO: 5341.57
****************************************************************************************************
Validation loss decreased (10755.672852 --> 10683.131836).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11938.55 .. NELBO: 11938.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.66 .. NELBO: 5311.68
****************************************************************************************************
Validation loss decreased (10683.131836 --> 10623.349609).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11844.08 .. NELBO: 11844.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.45 .. NELBO: 5300.47
****************************************************************************************************
Validation loss decreased (10623.349609 --> 10600.943359).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11789.34 .. NELBO: 11789.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.44 .. NELBO: 5312.46
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11780.72 .. NELBO: 11780.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.73 .. NELBO: 5335.75
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.63 .. NELBO: 11792.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.67 .. NELBO: 5351.69
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.44 .. NELBO: 11796.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.75 .. NELBO: 5353.77
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11784.79 .. NELBO: 11784.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.72 .. NELBO: 5347.74
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05693980885122232, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=85, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=85, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=85, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 88.84 .. Rec_loss: 12264.38 .. NELBO: 12353.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.36 .. Rec_loss: 5444.27 .. NELBO: 5452.63
****************************************************************************************************
Validation loss decreased (inf --> 10905.253906).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.98 .. Rec_loss: 12249.63 .. NELBO: 12258.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 5432.5 .. NELBO: 5432.93
****************************************************************************************************
Validation loss decreased (10905.253906 --> 10865.860352).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.63 .. Rec_loss: 12210.49 .. NELBO: 12211.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5409.76 .. NELBO: 5409.85
****************************************************************************************************
Validation loss decreased (10865.860352 --> 10819.693359).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 12140.69 .. NELBO: 12140.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5377.2 .. NELBO: 5377.23
****************************************************************************************************
Validation loss decreased (10819.693359 --> 10754.461914).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12044.08 .. NELBO: 12044.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5340.63 .. NELBO: 5340.65
****************************************************************************************************
Validation loss decreased (10754.461914 --> 10681.295898).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11936.42 .. NELBO: 11936.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.82 .. NELBO: 5310.84
****************************************************************************************************
Validation loss decreased (10681.295898 --> 10621.667969).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11842.29 .. NELBO: 11842.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.18 .. NELBO: 5300.2
****************************************************************************************************
Validation loss decreased (10621.667969 --> 10600.402344).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11788.87 .. NELBO: 11788.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.88 .. NELBO: 5312.9
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.46 .. NELBO: 11781.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.35 .. NELBO: 5336.37
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11793.62 .. NELBO: 11793.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.86 .. NELBO: 5351.88
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.4 .. NELBO: 11796.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.52 .. NELBO: 5353.54
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11784.76 .. NELBO: 11784.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.33 .. NELBO: 5347.35
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05693980885122232, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=85, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=85, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=85, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 96.69 .. Rec_loss: 12264.11 .. NELBO: 12360.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.15 .. Rec_loss: 5444.11 .. NELBO: 5452.26
****************************************************************************************************
Validation loss decreased (inf --> 10904.513672).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.8 .. Rec_loss: 12248.89 .. NELBO: 12257.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.51 .. Rec_loss: 5432.36 .. NELBO: 5432.87
****************************************************************************************************
Validation loss decreased (10904.513672 --> 10865.732422).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.73 .. Rec_loss: 12210.02 .. NELBO: 12210.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5409.85 .. NELBO: 5409.94
****************************************************************************************************
Validation loss decreased (10865.732422 --> 10819.867188).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 12141.51 .. NELBO: 12141.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5377.73 .. NELBO: 5377.76
****************************************************************************************************
Validation loss decreased (10819.867188 --> 10755.509766).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12045.97 .. NELBO: 12046.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5341.59 .. NELBO: 5341.61
****************************************************************************************************
Validation loss decreased (10755.509766 --> 10683.220703).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11939.09 .. NELBO: 11939.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.69 .. NELBO: 5311.71
****************************************************************************************************
Validation loss decreased (10683.220703 --> 10623.420898).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11845.36 .. NELBO: 11845.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.12 .. NELBO: 5300.14
****************************************************************************************************
Validation loss decreased (10623.420898 --> 10600.278320).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11790.12 .. NELBO: 11790.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.6 .. NELBO: 5311.62
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11780.44 .. NELBO: 11780.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5334.66 .. NELBO: 5334.68
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11792.49 .. NELBO: 11792.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.68 .. NELBO: 5350.7
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.59 .. NELBO: 11795.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.08 .. NELBO: 5353.1
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11784.5 .. NELBO: 11784.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.4 .. NELBO: 5347.42
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  102
model: ETM(
  (t_drop): Dropout(p=0.05617899867124623, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=66, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=66, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=66, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1346.07 .. Rec_loss: 12264.65 .. NELBO: 13610.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 23.21 .. Rec_loss: 5445.39 .. NELBO: 5468.6
****************************************************************************************************
Validation loss decreased (inf --> 10937.191406).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 28.71 .. Rec_loss: 12253.96 .. NELBO: 12282.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.55 .. Rec_loss: 5437.19 .. NELBO: 5444.74
****************************************************************************************************
Validation loss decreased (10937.191406 --> 10889.487305).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 16.18 .. Rec_loss: 12226.85 .. NELBO: 12243.03
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.6 .. Rec_loss: 5420.34 .. NELBO: 5427.94
****************************************************************************************************
Validation loss decreased (10889.487305 --> 10855.874023).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 14.63 .. Rec_loss: 12173.97 .. NELBO: 12188.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 5.61 .. Rec_loss: 5393.77 .. NELBO: 5399.38
****************************************************************************************************
Validation loss decreased (10855.874023 --> 10798.768555).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 10.73 .. Rec_loss: 12093.32 .. NELBO: 12104.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.98 .. Rec_loss: 5360.0 .. NELBO: 5363.98
****************************************************************************************************
Validation loss decreased (10798.768555 --> 10727.955078).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 7.61 .. Rec_loss: 11992.84 .. NELBO: 12000.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.98 .. Rec_loss: 5326.06 .. NELBO: 5329.04
****************************************************************************************************
Validation loss decreased (10727.955078 --> 10658.072266).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 5.91 .. Rec_loss: 11889.27 .. NELBO: 11895.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.3 .. Rec_loss: 5303.49 .. NELBO: 5305.79
****************************************************************************************************
Validation loss decreased (10658.072266 --> 10611.575195).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 4.58 .. Rec_loss: 11810.66 .. NELBO: 11815.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.74 .. Rec_loss: 5302.79 .. NELBO: 5304.53
****************************************************************************************************
Validation loss decreased (10611.575195 --> 10609.060547).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 3.4 .. Rec_loss: 11777.88 .. NELBO: 11781.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.26 .. Rec_loss: 5322.26 .. NELBO: 5323.52
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 2.47 .. Rec_loss: 11783.62 .. NELBO: 11786.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.9 .. Rec_loss: 5344.65 .. NELBO: 5345.55
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 1.73 .. Rec_loss: 11795.51 .. NELBO: 11797.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.63 .. Rec_loss: 5354.66 .. NELBO: 5355.29
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 1.21 .. Rec_loss: 11793.0 .. NELBO: 11794.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 5352.18 .. NELBO: 5352.63
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.89 .. Rec_loss: 11778.04 .. NELBO: 11778.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.36 .. Rec_loss: 5344.82 .. NELBO: 5345.18
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05617899867124623, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=66, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=66, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=66, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1246.96 .. Rec_loss: 12264.17 .. NELBO: 13511.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 23.21 .. Rec_loss: 5445.57 .. NELBO: 5468.78
****************************************************************************************************
Validation loss decreased (inf --> 10937.558594).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 29.59 .. Rec_loss: 12253.99 .. NELBO: 12283.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 10.47 .. Rec_loss: 5436.76 .. NELBO: 5447.23
****************************************************************************************************
Validation loss decreased (10937.558594 --> 10894.447266).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 22.3 .. Rec_loss: 12225.41 .. NELBO: 12247.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 9.81 .. Rec_loss: 5419.25 .. NELBO: 5429.06
****************************************************************************************************
Validation loss decreased (10894.447266 --> 10858.130859).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 18.4 .. Rec_loss: 12170.34 .. NELBO: 12188.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.6 .. Rec_loss: 5392.24 .. NELBO: 5398.84
****************************************************************************************************
Validation loss decreased (10858.130859 --> 10797.686523).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 12.68 .. Rec_loss: 12088.34 .. NELBO: 12101.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.86 .. Rec_loss: 5358.21 .. NELBO: 5363.07
****************************************************************************************************
Validation loss decreased (10797.686523 --> 10726.140625).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 9.39 .. Rec_loss: 11985.96 .. NELBO: 11995.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.92 .. Rec_loss: 5324.46 .. NELBO: 5328.38
****************************************************************************************************
Validation loss decreased (10726.140625 --> 10656.755859).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 7.86 .. Rec_loss: 11883.65 .. NELBO: 11891.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.21 .. Rec_loss: 5302.84 .. NELBO: 5306.05
****************************************************************************************************
Validation loss decreased (10656.755859 --> 10612.112305).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 6.34 .. Rec_loss: 11806.98 .. NELBO: 11813.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.43 .. Rec_loss: 5303.62 .. NELBO: 5306.05
****************************************************************************************************
Validation loss decreased (10612.112305 --> 10612.092773).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 4.59 .. Rec_loss: 11776.75 .. NELBO: 11781.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.6 .. Rec_loss: 5323.91 .. NELBO: 5325.51
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 2.95 .. Rec_loss: 11784.15 .. NELBO: 11787.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.94 .. Rec_loss: 5345.77 .. NELBO: 5346.71
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 1.71 .. Rec_loss: 11795.3 .. NELBO: 11797.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.51 .. Rec_loss: 5354.69 .. NELBO: 5355.2
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.95 .. Rec_loss: 11791.24 .. NELBO: 11792.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.28 .. Rec_loss: 5351.56 .. NELBO: 5351.84
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.51 .. Rec_loss: 11777.15 .. NELBO: 11777.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.15 .. Rec_loss: 5344.07 .. NELBO: 5344.22
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05617899867124623, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=66, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=66, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=66, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 891.43 .. Rec_loss: 12264.45 .. NELBO: 13155.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 22.44 .. Rec_loss: 5445.21 .. NELBO: 5467.65
****************************************************************************************************
Validation loss decreased (inf --> 10935.302734).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 28.03 .. Rec_loss: 12252.71 .. NELBO: 12280.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.67 .. Rec_loss: 5436.1 .. NELBO: 5442.77
****************************************************************************************************
Validation loss decreased (10935.302734 --> 10885.542969).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 13.62 .. Rec_loss: 12223.68 .. NELBO: 12237.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.0 .. Rec_loss: 5418.69 .. NELBO: 5424.69
****************************************************************************************************
Validation loss decreased (10885.542969 --> 10849.381836).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 11.29 .. Rec_loss: 12168.81 .. NELBO: 12180.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.7 .. Rec_loss: 5391.7 .. NELBO: 5395.4
****************************************************************************************************
Validation loss decreased (10849.381836 --> 10790.794922).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 6.42 .. Rec_loss: 12087.06 .. NELBO: 12093.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.77 .. Rec_loss: 5357.79 .. NELBO: 5359.56
****************************************************************************************************
Validation loss decreased (10790.794922 --> 10719.120117).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 3.08 .. Rec_loss: 11985.81 .. NELBO: 11988.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.76 .. Rec_loss: 5324.35 .. NELBO: 5325.11
****************************************************************************************************
Validation loss decreased (10719.120117 --> 10650.225586).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 1.28 .. Rec_loss: 11883.47 .. NELBO: 11884.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.28 .. Rec_loss: 5302.91 .. NELBO: 5303.19
****************************************************************************************************
Validation loss decreased (10650.225586 --> 10606.369141).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.46 .. Rec_loss: 11807.74 .. NELBO: 11808.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 5303.34 .. NELBO: 5303.44
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.18 .. Rec_loss: 11777.46 .. NELBO: 11777.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5323.22 .. NELBO: 5323.26
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 11783.84 .. NELBO: 11783.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5345.32 .. NELBO: 5345.34
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.16 .. NELBO: 11796.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5355.0 .. NELBO: 5355.02
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11792.96 .. NELBO: 11792.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5352.4 .. NELBO: 5352.41
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  103
model: ETM(
  (t_drop): Dropout(p=0.05607560215661084, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=68, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=68, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=68, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 79.86 .. Rec_loss: 12264.16 .. NELBO: 12344.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.49 .. Rec_loss: 5444.2 .. NELBO: 5451.69
****************************************************************************************************
Validation loss decreased (inf --> 10903.379883).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.91 .. Rec_loss: 12249.33 .. NELBO: 12257.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 5432.96 .. NELBO: 5433.35
****************************************************************************************************
Validation loss decreased (10903.379883 --> 10866.700195).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.58 .. Rec_loss: 12212.5 .. NELBO: 12213.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5411.05 .. NELBO: 5411.13
****************************************************************************************************
Validation loss decreased (10866.700195 --> 10822.267578).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12144.85 .. NELBO: 12144.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5379.24 .. NELBO: 5379.27
****************************************************************************************************
Validation loss decreased (10822.267578 --> 10758.536133).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12049.45 .. NELBO: 12049.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5342.95 .. NELBO: 5342.97
****************************************************************************************************
Validation loss decreased (10758.536133 --> 10685.933594).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11942.87 .. NELBO: 11942.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.45 .. NELBO: 5312.47
****************************************************************************************************
Validation loss decreased (10685.933594 --> 10624.937500).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11847.07 .. NELBO: 11847.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.22 .. NELBO: 5300.24
****************************************************************************************************
Validation loss decreased (10624.937500 --> 10600.475586).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11790.48 .. NELBO: 11790.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.49 .. NELBO: 5311.51
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11780.56 .. NELBO: 11780.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5334.85 .. NELBO: 5334.87
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11792.78 .. NELBO: 11792.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.19 .. NELBO: 5351.21
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.41 .. NELBO: 11796.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.58 .. NELBO: 5353.6
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11785.31 .. NELBO: 11785.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5347.72 .. NELBO: 5347.73
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05607560215661084, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=68, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=68, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=68, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 80.83 .. Rec_loss: 12263.37 .. NELBO: 12344.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.6 .. Rec_loss: 5443.25 .. NELBO: 5450.85
****************************************************************************************************
Validation loss decreased (inf --> 10901.700195).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.27 .. Rec_loss: 12245.18 .. NELBO: 12253.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.44 .. Rec_loss: 5429.61 .. NELBO: 5430.05
****************************************************************************************************
Validation loss decreased (10901.700195 --> 10860.103516).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.65 .. Rec_loss: 12200.77 .. NELBO: 12201.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5404.52 .. NELBO: 5404.61
****************************************************************************************************
Validation loss decreased (10860.103516 --> 10809.204102).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 12124.14 .. NELBO: 12124.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5370.14 .. NELBO: 5370.17
****************************************************************************************************
Validation loss decreased (10809.204102 --> 10740.347656).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12022.37 .. NELBO: 12022.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5333.66 .. NELBO: 5333.68
****************************************************************************************************
Validation loss decreased (10740.347656 --> 10667.364258).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11914.03 .. NELBO: 11914.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5306.81 .. NELBO: 5306.83
****************************************************************************************************
Validation loss decreased (10667.364258 --> 10613.654297).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11826.63 .. NELBO: 11826.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5301.23 .. NELBO: 5301.24
****************************************************************************************************
Validation loss decreased (10613.654297 --> 10602.491211).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11784.1 .. NELBO: 11784.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5317.74 .. NELBO: 5317.76
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11783.5 .. NELBO: 11783.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5340.77 .. NELBO: 5340.79
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.53 .. NELBO: 11795.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.16 .. NELBO: 5353.18
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11794.36 .. NELBO: 11794.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.39 .. NELBO: 5352.41
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.36 .. NELBO: 11781.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5345.48 .. NELBO: 5345.5
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05607560215661084, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=68, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=68, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=68, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 80.46 .. Rec_loss: 12263.94 .. NELBO: 12344.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.83 .. Rec_loss: 5443.88 .. NELBO: 5451.71
****************************************************************************************************
Validation loss decreased (inf --> 10903.422852).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.47 .. Rec_loss: 12248.15 .. NELBO: 12256.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.41 .. Rec_loss: 5432.1 .. NELBO: 5432.51
****************************************************************************************************
Validation loss decreased (10903.422852 --> 10865.040039).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.59 .. Rec_loss: 12209.01 .. NELBO: 12209.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5409.39 .. NELBO: 5409.46
****************************************************************************************************
Validation loss decreased (10865.040039 --> 10818.916016).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12139.47 .. NELBO: 12139.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5377.02 .. NELBO: 5377.04
****************************************************************************************************
Validation loss decreased (10818.916016 --> 10754.078125).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12043.26 .. NELBO: 12043.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5340.72 .. NELBO: 5340.74
****************************************************************************************************
Validation loss decreased (10754.078125 --> 10681.475586).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11936.21 .. NELBO: 11936.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5311.08 .. NELBO: 5311.09
****************************************************************************************************
Validation loss decreased (10681.475586 --> 10622.189453).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11841.94 .. NELBO: 11841.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.41 .. NELBO: 5300.42
****************************************************************************************************
Validation loss decreased (10622.189453 --> 10600.848633).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11788.2 .. NELBO: 11788.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.99 .. NELBO: 5313.01
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11780.96 .. NELBO: 11780.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.45 .. NELBO: 5336.47
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11793.69 .. NELBO: 11793.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.99 .. NELBO: 5352.01
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.51 .. NELBO: 11796.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.64 .. NELBO: 5353.66
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11784.63 .. NELBO: 11784.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5347.46 .. NELBO: 5347.47
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  104
model: ETM(
  (t_drop): Dropout(p=0.05688945796635633, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=73, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=73, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=73, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 76.68 .. Rec_loss: 12264.26 .. NELBO: 12340.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.52 .. Rec_loss: 5444.13 .. NELBO: 5451.65
****************************************************************************************************
Validation loss decreased (inf --> 10903.298828).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.2 .. Rec_loss: 12248.71 .. NELBO: 12256.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.4 .. Rec_loss: 5432.59 .. NELBO: 5432.99
****************************************************************************************************
Validation loss decreased (10903.298828 --> 10865.973633).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.56 .. Rec_loss: 12211.04 .. NELBO: 12211.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5410.21 .. NELBO: 5410.27
****************************************************************************************************
Validation loss decreased (10865.973633 --> 10820.536133).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 12141.96 .. NELBO: 12142.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5378.17 .. NELBO: 5378.19
****************************************************************************************************
Validation loss decreased (10820.536133 --> 10756.372070).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12047.4 .. NELBO: 12047.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5341.91 .. NELBO: 5341.93
****************************************************************************************************
Validation loss decreased (10756.372070 --> 10683.842773).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11939.52 .. NELBO: 11939.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5311.79 .. NELBO: 5311.8
****************************************************************************************************
Validation loss decreased (10683.842773 --> 10623.614258).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11845.24 .. NELBO: 11845.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.18 .. NELBO: 5300.19
****************************************************************************************************
Validation loss decreased (10623.614258 --> 10600.385742).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11789.86 .. NELBO: 11789.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5311.93 .. NELBO: 5311.94
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11780.54 .. NELBO: 11780.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.31 .. NELBO: 5335.33
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11792.84 .. NELBO: 11792.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.33 .. NELBO: 5351.35
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.89 .. NELBO: 11795.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.52 .. NELBO: 5353.53
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11784.93 .. NELBO: 11784.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5347.6 .. NELBO: 5347.61
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05688945796635633, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=73, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=73, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=73, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 75.32 .. Rec_loss: 12264.05 .. NELBO: 12339.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.05 .. Rec_loss: 5443.99 .. NELBO: 5451.04
****************************************************************************************************
Validation loss decreased (inf --> 10902.079102).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.55 .. Rec_loss: 12248.54 .. NELBO: 12256.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.34 .. Rec_loss: 5432.26 .. NELBO: 5432.6
****************************************************************************************************
Validation loss decreased (10902.079102 --> 10865.203125).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.49 .. Rec_loss: 12210.49 .. NELBO: 12210.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5410.1 .. NELBO: 5410.16
****************************************************************************************************
Validation loss decreased (10865.203125 --> 10820.332031).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12142.17 .. NELBO: 12142.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5378.33 .. NELBO: 5378.35
****************************************************************************************************
Validation loss decreased (10820.332031 --> 10756.700195).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12048.94 .. NELBO: 12048.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5342.3 .. NELBO: 5342.32
****************************************************************************************************
Validation loss decreased (10756.700195 --> 10684.644531).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11942.08 .. NELBO: 11942.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.16 .. NELBO: 5312.18
****************************************************************************************************
Validation loss decreased (10684.644531 --> 10624.355469).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11847.73 .. NELBO: 11847.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.05 .. NELBO: 5300.07
****************************************************************************************************
Validation loss decreased (10624.355469 --> 10600.128906).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11791.26 .. NELBO: 11791.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.06 .. NELBO: 5311.08
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.62 .. NELBO: 11780.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5334.16 .. NELBO: 5334.18
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.69 .. NELBO: 11792.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.57 .. NELBO: 5350.59
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.88 .. NELBO: 11795.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.24 .. NELBO: 5353.26
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11785.19 .. NELBO: 11785.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.58 .. NELBO: 5347.6
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05688945796635633, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=73, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=73, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=73, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 83.16 .. Rec_loss: 12263.95 .. NELBO: 12347.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.04 .. Rec_loss: 5443.58 .. NELBO: 5451.62
****************************************************************************************************
Validation loss decreased (inf --> 10903.253906).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.67 .. Rec_loss: 12247.12 .. NELBO: 12255.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.4 .. Rec_loss: 5431.24 .. NELBO: 5431.64
****************************************************************************************************
Validation loss decreased (10903.253906 --> 10863.269531).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.57 .. Rec_loss: 12206.36 .. NELBO: 12206.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5407.71 .. NELBO: 5407.77
****************************************************************************************************
Validation loss decreased (10863.269531 --> 10815.541992).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 12134.27 .. NELBO: 12134.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5374.7 .. NELBO: 5374.72
****************************************************************************************************
Validation loss decreased (10815.541992 --> 10749.446289).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12036.52 .. NELBO: 12036.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5338.38 .. NELBO: 5338.4
****************************************************************************************************
Validation loss decreased (10749.446289 --> 10676.792969).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11928.94 .. NELBO: 11928.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5309.59 .. NELBO: 5309.61
****************************************************************************************************
Validation loss decreased (10676.792969 --> 10619.221680).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11837.31 .. NELBO: 11837.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.38 .. NELBO: 5300.4
****************************************************************************************************
Validation loss decreased (10619.221680 --> 10600.790039).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11786.87 .. NELBO: 11786.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5314.02 .. NELBO: 5314.04
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11780.82 .. NELBO: 11780.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.37 .. NELBO: 5337.39
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11794.11 .. NELBO: 11794.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.12 .. NELBO: 5352.14
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.94 .. NELBO: 11795.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.21 .. NELBO: 5353.23
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11784.04 .. NELBO: 11784.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.85 .. NELBO: 5346.87
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  105
model: ETM(
  (t_drop): Dropout(p=0.05598110384847087, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=77, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=77, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=77, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 90.45 .. Rec_loss: 12264.4 .. NELBO: 12354.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.34 .. Rec_loss: 5444.29 .. NELBO: 5452.63
****************************************************************************************************
Validation loss decreased (inf --> 10905.254883).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.98 .. Rec_loss: 12250.15 .. NELBO: 12259.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.44 .. Rec_loss: 5433.33 .. NELBO: 5433.77
****************************************************************************************************
Validation loss decreased (10905.254883 --> 10867.546875).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.64 .. Rec_loss: 12213.72 .. NELBO: 12214.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5411.73 .. NELBO: 5411.81
****************************************************************************************************
Validation loss decreased (10867.546875 --> 10823.607422).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12146.74 .. NELBO: 12146.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5380.26 .. NELBO: 5380.29
****************************************************************************************************
Validation loss decreased (10823.607422 --> 10760.570312).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12052.95 .. NELBO: 12053.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5344.1 .. NELBO: 5344.12
****************************************************************************************************
Validation loss decreased (10760.570312 --> 10688.233398).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11946.5 .. NELBO: 11946.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.32 .. NELBO: 5313.34
****************************************************************************************************
Validation loss decreased (10688.233398 --> 10626.678711).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11850.48 .. NELBO: 11850.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.38 .. NELBO: 5300.4
****************************************************************************************************
Validation loss decreased (10626.678711 --> 10600.791016).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11792.01 .. NELBO: 11792.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.87 .. NELBO: 5310.89
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.57 .. NELBO: 11780.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5334.04 .. NELBO: 5334.06
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.27 .. NELBO: 11792.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.83 .. NELBO: 5350.85
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.48 .. NELBO: 11796.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.79 .. NELBO: 5353.81
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11785.83 .. NELBO: 11785.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5348.11 .. NELBO: 5348.13
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05598110384847087, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=77, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=77, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=77, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 86.29 .. Rec_loss: 12264.21 .. NELBO: 12350.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.96 .. Rec_loss: 5443.87 .. NELBO: 5451.83
****************************************************************************************************
Validation loss decreased (inf --> 10903.663086).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.68 .. Rec_loss: 12247.83 .. NELBO: 12256.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.47 .. Rec_loss: 5431.89 .. NELBO: 5432.36
****************************************************************************************************
Validation loss decreased (10903.663086 --> 10864.723633).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.67 .. Rec_loss: 12208.46 .. NELBO: 12209.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5409.15 .. NELBO: 5409.23
****************************************************************************************************
Validation loss decreased (10864.723633 --> 10818.463867).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12138.91 .. NELBO: 12139.03
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5376.98 .. NELBO: 5377.01
****************************************************************************************************
Validation loss decreased (10818.463867 --> 10754.012695).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12043.23 .. NELBO: 12043.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5340.97 .. NELBO: 5340.99
****************************************************************************************************
Validation loss decreased (10754.012695 --> 10681.979492).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11936.16 .. NELBO: 11936.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.5 .. NELBO: 5311.52
****************************************************************************************************
Validation loss decreased (10681.979492 --> 10623.044922).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11843.58 .. NELBO: 11843.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.6 .. NELBO: 5300.62
****************************************************************************************************
Validation loss decreased (10623.044922 --> 10601.238281).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11789.42 .. NELBO: 11789.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.5 .. NELBO: 5312.52
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.01 .. NELBO: 11781.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.37 .. NELBO: 5335.39
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.8 .. NELBO: 11792.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.98 .. NELBO: 5351.0
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.14 .. NELBO: 11796.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.04 .. NELBO: 5353.06
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11784.62 .. NELBO: 11784.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.15 .. NELBO: 5347.17
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05598110384847087, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=77, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=77, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=77, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 82.3 .. Rec_loss: 12264.33 .. NELBO: 12346.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.97 .. Rec_loss: 5444.02 .. NELBO: 5451.99
****************************************************************************************************
Validation loss decreased (inf --> 10903.996094).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.61 .. Rec_loss: 12248.3 .. NELBO: 12256.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 5431.83 .. NELBO: 5432.22
****************************************************************************************************
Validation loss decreased (10903.996094 --> 10864.448242).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.56 .. Rec_loss: 12208.85 .. NELBO: 12209.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5409.03 .. NELBO: 5409.1
****************************************************************************************************
Validation loss decreased (10864.448242 --> 10818.195312).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12139.47 .. NELBO: 12139.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5376.64 .. NELBO: 5376.66
****************************************************************************************************
Validation loss decreased (10818.195312 --> 10753.322266).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12044.07 .. NELBO: 12044.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5340.33 .. NELBO: 5340.35
****************************************************************************************************
Validation loss decreased (10753.322266 --> 10680.701172).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11936.6 .. NELBO: 11936.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.66 .. NELBO: 5310.68
****************************************************************************************************
Validation loss decreased (10680.701172 --> 10621.364258).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11843.23 .. NELBO: 11843.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5299.81 .. NELBO: 5299.83
****************************************************************************************************
Validation loss decreased (10621.364258 --> 10599.649414).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11789.62 .. NELBO: 11789.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.01 .. NELBO: 5312.03
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.36 .. NELBO: 11781.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.2 .. NELBO: 5335.22
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.67 .. NELBO: 11792.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.93 .. NELBO: 5350.95
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.62 .. NELBO: 11795.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.02 .. NELBO: 5353.04
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11784.1 .. NELBO: 11784.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.16 .. NELBO: 5347.18
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  106
model: ETM(
  (t_drop): Dropout(p=0.05633588589023194, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=93, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=93, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=93, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1266.51 .. Rec_loss: 12264.35 .. NELBO: 13530.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 23.61 .. Rec_loss: 5445.52 .. NELBO: 5469.13
****************************************************************************************************
Validation loss decreased (inf --> 10938.248047).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 27.3 .. Rec_loss: 12253.79 .. NELBO: 12281.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.5 .. Rec_loss: 5437.04 .. NELBO: 5441.54
****************************************************************************************************
Validation loss decreased (10938.248047 --> 10883.081055).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 8.97 .. Rec_loss: 12225.79 .. NELBO: 12234.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.58 .. Rec_loss: 5420.02 .. NELBO: 5423.6
****************************************************************************************************
Validation loss decreased (10883.081055 --> 10847.190430).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 6.68 .. Rec_loss: 12171.91 .. NELBO: 12178.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.13 .. Rec_loss: 5393.26 .. NELBO: 5395.39
****************************************************************************************************
Validation loss decreased (10847.190430 --> 10790.795898).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 3.99 .. Rec_loss: 12089.97 .. NELBO: 12093.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.27 .. Rec_loss: 5359.42 .. NELBO: 5360.69
****************************************************************************************************
Validation loss decreased (10790.795898 --> 10721.391602).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 2.42 .. Rec_loss: 11988.44 .. NELBO: 11990.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.81 .. Rec_loss: 5325.74 .. NELBO: 5326.55
****************************************************************************************************
Validation loss decreased (10721.391602 --> 10653.083984).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 1.57 .. Rec_loss: 11886.52 .. NELBO: 11888.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.55 .. Rec_loss: 5303.64 .. NELBO: 5304.19
****************************************************************************************************
Validation loss decreased (10653.083984 --> 10608.368164).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 1.05 .. Rec_loss: 11809.24 .. NELBO: 11810.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.34 .. Rec_loss: 5303.34 .. NELBO: 5303.68
****************************************************************************************************
Validation loss decreased (10608.368164 --> 10607.350586).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.67 .. Rec_loss: 11777.31 .. NELBO: 11777.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 5322.8 .. NELBO: 5323.02
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 11783.26 .. NELBO: 11783.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 5345.06 .. NELBO: 5345.2
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.26 .. Rec_loss: 11795.51 .. NELBO: 11795.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5355.18 .. NELBO: 5355.26
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.15 .. Rec_loss: 11792.81 .. NELBO: 11792.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5352.95 .. NELBO: 5353.0
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 11778.83 .. NELBO: 11778.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5345.67 .. NELBO: 5345.7
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05633588589023194, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=93, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=93, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=93, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1094.94 .. Rec_loss: 12264.33 .. NELBO: 13359.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 23.95 .. Rec_loss: 5445.48 .. NELBO: 5469.43
****************************************************************************************************
Validation loss decreased (inf --> 10938.863281).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 27.69 .. Rec_loss: 12254.02 .. NELBO: 12281.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.74 .. Rec_loss: 5436.98 .. NELBO: 5440.72
****************************************************************************************************
Validation loss decreased (10938.863281 --> 10881.440430).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 7.75 .. Rec_loss: 12225.75 .. NELBO: 12233.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.3 .. Rec_loss: 5419.85 .. NELBO: 5423.15
****************************************************************************************************
Validation loss decreased (10881.440430 --> 10846.301758).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 6.49 .. Rec_loss: 12171.62 .. NELBO: 12178.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.47 .. Rec_loss: 5392.99 .. NELBO: 5395.46
****************************************************************************************************
Validation loss decreased (10846.301758 --> 10790.920898).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 4.82 .. Rec_loss: 12089.75 .. NELBO: 12094.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.73 .. Rec_loss: 5358.91 .. NELBO: 5360.64
****************************************************************************************************
Validation loss decreased (10790.920898 --> 10721.274414).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 3.41 .. Rec_loss: 11987.33 .. NELBO: 11990.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.19 .. Rec_loss: 5325.09 .. NELBO: 5326.28
****************************************************************************************************
Validation loss decreased (10721.274414 --> 10652.569336).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 2.35 .. Rec_loss: 11884.6 .. NELBO: 11886.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.79 .. Rec_loss: 5303.3 .. NELBO: 5304.09
****************************************************************************************************
Validation loss decreased (10652.569336 --> 10608.193359).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 1.49 .. Rec_loss: 11808.01 .. NELBO: 11809.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.49 .. Rec_loss: 5303.73 .. NELBO: 5304.22
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.92 .. Rec_loss: 11777.59 .. NELBO: 11778.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.29 .. Rec_loss: 5323.75 .. NELBO: 5324.04
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.53 .. Rec_loss: 11784.14 .. NELBO: 11784.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.16 .. Rec_loss: 5345.79 .. NELBO: 5345.95
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.27 .. Rec_loss: 11796.53 .. NELBO: 11796.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5355.21 .. NELBO: 5355.29
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 11792.71 .. NELBO: 11792.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5352.4 .. NELBO: 5352.44
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05633588589023194, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=93, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=93, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=93, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1328.61 .. Rec_loss: 12264.05 .. NELBO: 13592.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 27.36 .. Rec_loss: 5445.74 .. NELBO: 5473.1
****************************************************************************************************
Validation loss decreased (inf --> 10946.201172).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 33.54 .. Rec_loss: 12253.87 .. NELBO: 12287.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.23 .. Rec_loss: 5436.54 .. NELBO: 5443.77
****************************************************************************************************
Validation loss decreased (10946.201172 --> 10887.552734).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 15.18 .. Rec_loss: 12224.57 .. NELBO: 12239.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.13 .. Rec_loss: 5419.42 .. NELBO: 5425.55
****************************************************************************************************
Validation loss decreased (10887.552734 --> 10851.101562).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 11.24 .. Rec_loss: 12170.87 .. NELBO: 12182.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.77 .. Rec_loss: 5392.72 .. NELBO: 5396.49
****************************************************************************************************
Validation loss decreased (10851.101562 --> 10792.966797).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 6.95 .. Rec_loss: 12089.78 .. NELBO: 12096.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.28 .. Rec_loss: 5358.96 .. NELBO: 5361.24
****************************************************************************************************
Validation loss decreased (10792.966797 --> 10722.474609).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 4.23 .. Rec_loss: 11988.53 .. NELBO: 11992.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.36 .. Rec_loss: 5325.39 .. NELBO: 5326.75
****************************************************************************************************
Validation loss decreased (10722.474609 --> 10653.500000).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 2.54 .. Rec_loss: 11885.82 .. NELBO: 11888.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.8 .. Rec_loss: 5303.55 .. NELBO: 5304.35
****************************************************************************************************
Validation loss decreased (10653.500000 --> 10608.692383).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 1.48 .. Rec_loss: 11808.58 .. NELBO: 11810.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.42 .. Rec_loss: 5303.62 .. NELBO: 5304.04
****************************************************************************************************
Validation loss decreased (10608.692383 --> 10608.087891).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.78 .. Rec_loss: 11777.76 .. NELBO: 11778.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.24 .. Rec_loss: 5323.37 .. NELBO: 5323.61
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 11783.94 .. NELBO: 11784.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 5345.45 .. NELBO: 5345.58
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.24 .. Rec_loss: 11795.87 .. NELBO: 11796.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5355.05 .. NELBO: 5355.12
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 11792.63 .. NELBO: 11792.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5352.3 .. NELBO: 5352.34
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 11778.26 .. NELBO: 11778.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5344.82 .. NELBO: 5344.84
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  107
model: ETM(
  (t_drop): Dropout(p=0.05662149916360489, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=100, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=100, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=100, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1086.97 .. Rec_loss: 12264.43 .. NELBO: 13351.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 18.14 .. Rec_loss: 5445.58 .. NELBO: 5463.72
****************************************************************************************************
Validation loss decreased (inf --> 10927.442383).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 19.4 .. Rec_loss: 12254.04 .. NELBO: 12273.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.72 .. Rec_loss: 5437.01 .. NELBO: 5437.73
****************************************************************************************************
Validation loss decreased (10927.442383 --> 10875.463867).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 1.27 .. Rec_loss: 12225.2 .. NELBO: 12226.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.36 .. Rec_loss: 5419.71 .. NELBO: 5420.07
****************************************************************************************************
Validation loss decreased (10875.463867 --> 10840.140625).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.56 .. Rec_loss: 12170.53 .. NELBO: 12171.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 5392.65 .. NELBO: 5392.76
****************************************************************************************************
Validation loss decreased (10840.140625 --> 10785.507812).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.17 .. Rec_loss: 12088.08 .. NELBO: 12088.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5358.47 .. NELBO: 5358.52
****************************************************************************************************
Validation loss decreased (10785.507812 --> 10717.037109).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 11986.08 .. NELBO: 11986.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5324.68 .. NELBO: 5324.72
****************************************************************************************************
Validation loss decreased (10717.037109 --> 10649.443359).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 11882.86 .. NELBO: 11882.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5303.07 .. NELBO: 5303.13
****************************************************************************************************
Validation loss decreased (10649.443359 --> 10606.242188).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 11806.11 .. NELBO: 11806.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 5303.9 .. NELBO: 5304.01
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.2 .. Rec_loss: 11776.64 .. NELBO: 11776.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5324.4 .. NELBO: 5324.46
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 11784.75 .. NELBO: 11784.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5346.58 .. NELBO: 5346.61
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11796.38 .. NELBO: 11796.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5355.94 .. NELBO: 5355.97
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11793.09 .. NELBO: 11793.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5353.04 .. NELBO: 5353.07
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05662149916360489, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=100, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=100, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=100, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 994.96 .. Rec_loss: 12264.5 .. NELBO: 13259.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 19.93 .. Rec_loss: 5445.95 .. NELBO: 5465.88
****************************************************************************************************
Validation loss decreased (inf --> 10931.767578).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 21.52 .. Rec_loss: 12254.97 .. NELBO: 12276.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.97 .. Rec_loss: 5437.68 .. NELBO: 5438.65
****************************************************************************************************
Validation loss decreased (10931.767578 --> 10877.305664).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 1.57 .. Rec_loss: 12227.87 .. NELBO: 12229.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.31 .. Rec_loss: 5421.27 .. NELBO: 5421.58
****************************************************************************************************
Validation loss decreased (10877.305664 --> 10843.146484).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.47 .. Rec_loss: 12175.62 .. NELBO: 12176.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5395.19 .. NELBO: 5395.28
****************************************************************************************************
Validation loss decreased (10843.146484 --> 10790.559570).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.15 .. Rec_loss: 12095.97 .. NELBO: 12096.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5361.71 .. NELBO: 5361.75
****************************************************************************************************
Validation loss decreased (10790.559570 --> 10723.516602).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 11995.8 .. NELBO: 11995.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5327.72 .. NELBO: 5327.75
****************************************************************************************************
Validation loss decreased (10723.516602 --> 10655.498047).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11892.51 .. NELBO: 11892.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5304.56 .. NELBO: 5304.59
****************************************************************************************************
Validation loss decreased (10655.498047 --> 10609.180664).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11812.83 .. NELBO: 11812.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5302.97 .. NELBO: 5303.0
****************************************************************************************************
Validation loss decreased (10609.180664 --> 10605.995117).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11778.29 .. NELBO: 11778.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5321.91 .. NELBO: 5321.94
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11782.98 .. NELBO: 11783.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5344.71 .. NELBO: 5344.74
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11796.23 .. NELBO: 11796.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5355.56 .. NELBO: 5355.59
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11794.37 .. NELBO: 11794.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5353.54 .. NELBO: 5353.57
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11779.69 .. NELBO: 11779.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5346.15 .. NELBO: 5346.18
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05662149916360489, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=100, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=100, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=100, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1528.74 .. Rec_loss: 12264.82 .. NELBO: 13793.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 27.83 .. Rec_loss: 5446.24 .. NELBO: 5474.07
****************************************************************************************************
Validation loss decreased (inf --> 10948.142578).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 35.64 .. Rec_loss: 12256.0 .. NELBO: 12291.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 9.7 .. Rec_loss: 5438.07 .. NELBO: 5447.77
****************************************************************************************************
Validation loss decreased (10948.142578 --> 10895.537109).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 19.07 .. Rec_loss: 12229.57 .. NELBO: 12248.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.76 .. Rec_loss: 5422.09 .. NELBO: 5428.85
****************************************************************************************************
Validation loss decreased (10895.537109 --> 10857.700195).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 11.97 .. Rec_loss: 12178.82 .. NELBO: 12190.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.38 .. Rec_loss: 5396.48 .. NELBO: 5399.86
****************************************************************************************************
Validation loss decreased (10857.700195 --> 10799.720703).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 6.11 .. Rec_loss: 12100.8 .. NELBO: 12106.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.72 .. Rec_loss: 5363.34 .. NELBO: 5365.06
****************************************************************************************************
Validation loss decreased (10799.720703 --> 10730.121094).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 3.05 .. Rec_loss: 12001.51 .. NELBO: 12004.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.85 .. Rec_loss: 5329.25 .. NELBO: 5330.1
****************************************************************************************************
Validation loss decreased (10730.121094 --> 10660.192383).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 1.5 .. Rec_loss: 11898.17 .. NELBO: 11899.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.4 .. Rec_loss: 5305.17 .. NELBO: 5305.57
****************************************************************************************************
Validation loss decreased (10660.192383 --> 10611.139648).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.71 .. Rec_loss: 11816.66 .. NELBO: 11817.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.17 .. Rec_loss: 5301.95 .. NELBO: 5302.12
****************************************************************************************************
Validation loss decreased (10611.139648 --> 10604.251953).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.29 .. Rec_loss: 11778.78 .. NELBO: 11779.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5319.7 .. NELBO: 5319.77
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 11780.99 .. NELBO: 11781.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5342.78 .. NELBO: 5342.82
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 11794.97 .. NELBO: 11795.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5354.81 .. NELBO: 5354.84
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11794.82 .. NELBO: 11794.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.67 .. NELBO: 5353.69
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11781.07 .. NELBO: 11781.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.51 .. NELBO: 5346.53
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  108
model: ETM(
  (t_drop): Dropout(p=0.05613088368051598, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=52, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=52, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=52, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 70.86 .. Rec_loss: 12263.98 .. NELBO: 12334.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.85 .. Rec_loss: 5443.5 .. NELBO: 5450.35
****************************************************************************************************
Validation loss decreased (inf --> 10900.691406).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.42 .. Rec_loss: 12246.87 .. NELBO: 12254.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.44 .. Rec_loss: 5430.81 .. NELBO: 5431.25
****************************************************************************************************
Validation loss decreased (10900.691406 --> 10862.499023).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.65 .. Rec_loss: 12205.47 .. NELBO: 12206.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5407.19 .. NELBO: 5407.27
****************************************************************************************************
Validation loss decreased (10862.499023 --> 10814.545898).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12133.62 .. NELBO: 12133.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5374.17 .. NELBO: 5374.19
****************************************************************************************************
Validation loss decreased (10814.545898 --> 10748.385742).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12036.06 .. NELBO: 12036.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.82 .. NELBO: 5337.84
****************************************************************************************************
Validation loss decreased (10748.385742 --> 10675.672852).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11929.03 .. NELBO: 11929.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5309.03 .. NELBO: 5309.04
****************************************************************************************************
Validation loss decreased (10675.672852 --> 10618.083008).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11837.23 .. NELBO: 11837.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5299.96 .. NELBO: 5299.97
****************************************************************************************************
Validation loss decreased (10618.083008 --> 10599.940430).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11787.09 .. NELBO: 11787.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5313.88 .. NELBO: 5313.89
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.49 .. NELBO: 11781.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5337.39 .. NELBO: 5337.4
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11793.95 .. NELBO: 11793.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5352.1 .. NELBO: 5352.11
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.43 .. NELBO: 11795.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.12 .. NELBO: 5353.13
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11783.71 .. NELBO: 11783.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5346.78 .. NELBO: 5346.79
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05613088368051598, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=52, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=52, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=52, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 72.78 .. Rec_loss: 12263.78 .. NELBO: 12336.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.31 .. Rec_loss: 5443.61 .. NELBO: 5450.92
****************************************************************************************************
Validation loss decreased (inf --> 10901.851562).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.0 .. Rec_loss: 12247.81 .. NELBO: 12255.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.54 .. Rec_loss: 5432.46 .. NELBO: 5433.0
****************************************************************************************************
Validation loss decreased (10901.851562 --> 10865.991211).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.79 .. Rec_loss: 12210.44 .. NELBO: 12211.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 5410.33 .. NELBO: 5410.43
****************************************************************************************************
Validation loss decreased (10865.991211 --> 10820.868164).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.15 .. Rec_loss: 12142.22 .. NELBO: 12142.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5378.52 .. NELBO: 5378.54
****************************************************************************************************
Validation loss decreased (10820.868164 --> 10757.093750).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12047.48 .. NELBO: 12047.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5342.43 .. NELBO: 5342.44
****************************************************************************************************
Validation loss decreased (10757.093750 --> 10684.894531).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11939.94 .. NELBO: 11939.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5312.28 .. NELBO: 5312.29
****************************************************************************************************
Validation loss decreased (10684.894531 --> 10624.577148).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11845.7 .. NELBO: 11845.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.36 .. NELBO: 5300.37
****************************************************************************************************
Validation loss decreased (10624.577148 --> 10600.750000).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11789.67 .. NELBO: 11789.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5311.72 .. NELBO: 5311.73
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11779.65 .. NELBO: 11779.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5335.04 .. NELBO: 5335.05
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11792.38 .. NELBO: 11792.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5351.51 .. NELBO: 5351.52
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11796.22 .. NELBO: 11796.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5354.09 .. NELBO: 5354.1
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11785.56 .. NELBO: 11785.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5348.17 .. NELBO: 5348.18
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05613088368051598, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=52, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=52, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=52, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 74.93 .. Rec_loss: 12264.02 .. NELBO: 12338.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.63 .. Rec_loss: 5443.72 .. NELBO: 5451.35
****************************************************************************************************
Validation loss decreased (inf --> 10902.692383).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.02 .. Rec_loss: 12248.26 .. NELBO: 12256.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 5432.28 .. NELBO: 5432.67
****************************************************************************************************
Validation loss decreased (10902.692383 --> 10865.340820).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.61 .. Rec_loss: 12210.99 .. NELBO: 12211.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5410.37 .. NELBO: 5410.46
****************************************************************************************************
Validation loss decreased (10865.340820 --> 10820.923828).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 12143.24 .. NELBO: 12143.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5378.92 .. NELBO: 5378.94
****************************************************************************************************
Validation loss decreased (10820.923828 --> 10757.887695).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12049.84 .. NELBO: 12049.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5343.04 .. NELBO: 5343.05
****************************************************************************************************
Validation loss decreased (10757.887695 --> 10686.104492).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11943.52 .. NELBO: 11943.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5312.65 .. NELBO: 5312.66
****************************************************************************************************
Validation loss decreased (10686.104492 --> 10625.314453).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11848.16 .. NELBO: 11848.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5299.96 .. NELBO: 5299.97
****************************************************************************************************
Validation loss decreased (10625.314453 --> 10599.953125).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11790.61 .. NELBO: 11790.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5310.48 .. NELBO: 5310.49
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11779.28 .. NELBO: 11779.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5333.69 .. NELBO: 5333.7
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11792.02 .. NELBO: 11792.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5350.73 .. NELBO: 5350.74
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.72 .. NELBO: 11795.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.89 .. NELBO: 5353.9
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11786.61 .. NELBO: 11786.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5348.3 .. NELBO: 5348.31
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  109
model: ETM(
  (t_drop): Dropout(p=0.05661514302271627, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=52, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=52, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=52, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 71.76 .. Rec_loss: 12263.32 .. NELBO: 12335.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.05 .. Rec_loss: 5443.02 .. NELBO: 5450.07
****************************************************************************************************
Validation loss decreased (inf --> 10900.125000).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.63 .. Rec_loss: 12245.52 .. NELBO: 12253.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 5430.37 .. NELBO: 5430.82
****************************************************************************************************
Validation loss decreased (10900.125000 --> 10861.622070).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.66 .. Rec_loss: 12204.12 .. NELBO: 12204.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5406.67 .. NELBO: 5406.76
****************************************************************************************************
Validation loss decreased (10861.622070 --> 10813.522461).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 12132.2 .. NELBO: 12132.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5373.64 .. NELBO: 5373.67
****************************************************************************************************
Validation loss decreased (10813.522461 --> 10747.330078).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12033.99 .. NELBO: 12034.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5337.43 .. NELBO: 5337.46
****************************************************************************************************
Validation loss decreased (10747.330078 --> 10674.917969).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11926.83 .. NELBO: 11926.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5308.99 .. NELBO: 5309.02
****************************************************************************************************
Validation loss decreased (10674.917969 --> 10618.043945).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 11835.97 .. NELBO: 11836.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5300.24 .. NELBO: 5300.28
****************************************************************************************************
Validation loss decreased (10618.043945 --> 10600.577148).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 11786.45 .. NELBO: 11786.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5314.19 .. NELBO: 5314.25
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 11781.37 .. NELBO: 11781.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5337.44 .. NELBO: 5337.5
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 11793.91 .. NELBO: 11794.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5351.99 .. NELBO: 5352.04
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 11795.63 .. NELBO: 11795.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5353.0 .. NELBO: 5353.04
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 11783.46 .. NELBO: 11783.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5346.71 .. NELBO: 5346.75
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05661514302271627, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=52, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=52, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=52, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 65.57 .. Rec_loss: 12263.76 .. NELBO: 12329.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.58 .. Rec_loss: 5443.54 .. NELBO: 5450.12
****************************************************************************************************
Validation loss decreased (inf --> 10900.239258).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 6.99 .. Rec_loss: 12247.1 .. NELBO: 12254.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 5431.42 .. NELBO: 5431.81
****************************************************************************************************
Validation loss decreased (10900.239258 --> 10863.632812).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.59 .. Rec_loss: 12207.31 .. NELBO: 12207.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5408.56 .. NELBO: 5408.64
****************************************************************************************************
Validation loss decreased (10863.632812 --> 10817.273438).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12137.5 .. NELBO: 12137.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5376.34 .. NELBO: 5376.36
****************************************************************************************************
Validation loss decreased (10817.273438 --> 10752.720703).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12040.89 .. NELBO: 12040.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5340.47 .. NELBO: 5340.48
****************************************************************************************************
Validation loss decreased (10752.720703 --> 10680.958984).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11934.69 .. NELBO: 11934.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5311.16 .. NELBO: 5311.17
****************************************************************************************************
Validation loss decreased (10680.958984 --> 10622.350586).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11842.12 .. NELBO: 11842.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.39 .. NELBO: 5300.4
****************************************************************************************************
Validation loss decreased (10622.350586 --> 10600.810547).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11788.21 .. NELBO: 11788.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5312.48 .. NELBO: 5312.49
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11780.8 .. NELBO: 11780.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5335.62 .. NELBO: 5335.63
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11792.53 .. NELBO: 11792.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5351.41 .. NELBO: 5351.42
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.92 .. NELBO: 11795.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.48 .. NELBO: 5353.49
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11785.0 .. NELBO: 11785.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5347.49 .. NELBO: 5347.5
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05661514302271627, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=52, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=52, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=52, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 72.96 .. Rec_loss: 12263.42 .. NELBO: 12336.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.02 .. Rec_loss: 5442.91 .. NELBO: 5449.93
****************************************************************************************************
Validation loss decreased (inf --> 10899.855469).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.52 .. Rec_loss: 12245.38 .. NELBO: 12252.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.4 .. Rec_loss: 5430.16 .. NELBO: 5430.56
****************************************************************************************************
Validation loss decreased (10899.855469 --> 10861.111328).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.58 .. Rec_loss: 12203.59 .. NELBO: 12204.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5406.21 .. NELBO: 5406.28
****************************************************************************************************
Validation loss decreased (10861.111328 --> 10812.555664).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12130.3 .. NELBO: 12130.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5372.87 .. NELBO: 5372.89
****************************************************************************************************
Validation loss decreased (10812.555664 --> 10745.771484).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12031.69 .. NELBO: 12031.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5336.48 .. NELBO: 5336.49
****************************************************************************************************
Validation loss decreased (10745.771484 --> 10672.990234).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11923.43 .. NELBO: 11923.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5308.24 .. NELBO: 5308.25
****************************************************************************************************
Validation loss decreased (10672.990234 --> 10616.509766).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11832.74 .. NELBO: 11832.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.27 .. NELBO: 5300.28
****************************************************************************************************
Validation loss decreased (10616.509766 --> 10600.568359).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11784.92 .. NELBO: 11784.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5315.16 .. NELBO: 5315.17
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.74 .. NELBO: 11781.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5338.69 .. NELBO: 5338.7
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11794.52 .. NELBO: 11794.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5352.71 .. NELBO: 5352.72
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.62 .. NELBO: 11795.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.11 .. NELBO: 5353.12
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11782.68 .. NELBO: 11782.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5346.55 .. NELBO: 5346.56
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  110
model: ETM(
  (t_drop): Dropout(p=0.05623698083772616, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=83, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=83, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=83, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.27 .. Rec_loss: 12263.6 .. NELBO: 12263.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.13 .. Rec_loss: 5442.78 .. NELBO: 5444.91
****************************************************************************************************
Validation loss decreased (inf --> 10889.830078).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 2.33 .. Rec_loss: 12242.13 .. NELBO: 12244.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5426.47 .. NELBO: 5426.51
****************************************************************************************************
Validation loss decreased (10889.830078 --> 10853.028320).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.47 .. Rec_loss: 12190.21 .. NELBO: 12190.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.3 .. Rec_loss: 5398.39 .. NELBO: 5398.69
****************************************************************************************************
Validation loss decreased (10853.028320 --> 10797.387695).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.76 .. Rec_loss: 12106.15 .. NELBO: 12106.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.2 .. Rec_loss: 5362.05 .. NELBO: 5363.25
****************************************************************************************************
Validation loss decreased (10797.387695 --> 10726.510742).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 3.07 .. Rec_loss: 11998.9 .. NELBO: 12001.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.59 .. Rec_loss: 5327.27 .. NELBO: 5327.86
****************************************************************************************************
Validation loss decreased (10726.510742 --> 10655.724609).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 1.33 .. Rec_loss: 11895.61 .. NELBO: 11896.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.19 .. Rec_loss: 5303.96 .. NELBO: 5305.15
****************************************************************************************************
Validation loss decreased (10655.724609 --> 10610.287109).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 1.52 .. Rec_loss: 11815.83 .. NELBO: 11817.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5303.27 .. NELBO: 5303.35
****************************************************************************************************
Validation loss decreased (10610.287109 --> 10606.692383).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 11782.94 .. NELBO: 11783.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.21 .. Rec_loss: 5321.49 .. NELBO: 5321.7
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.49 .. Rec_loss: 11785.49 .. NELBO: 11785.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.24 .. Rec_loss: 5342.16 .. NELBO: 5342.4
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.5 .. Rec_loss: 11794.45 .. NELBO: 11794.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.37 .. Rec_loss: 5350.67 .. NELBO: 5351.04
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 1.16 .. Rec_loss: 11788.64 .. NELBO: 11789.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.29 .. Rec_loss: 5346.78 .. NELBO: 5348.07
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 3.03 .. Rec_loss: 11773.15 .. NELBO: 11776.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.44 .. Rec_loss: 5339.88 .. NELBO: 5341.32
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05623698083772616, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=83, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=83, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=83, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.29 .. Rec_loss: 12263.67 .. NELBO: 12263.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.67 .. Rec_loss: 5442.66 .. NELBO: 5444.33
****************************************************************************************************
Validation loss decreased (inf --> 10888.669922).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.94 .. Rec_loss: 12241.94 .. NELBO: 12243.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5426.12 .. NELBO: 5426.15
****************************************************************************************************
Validation loss decreased (10888.669922 --> 10852.305664).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.52 .. Rec_loss: 12189.41 .. NELBO: 12189.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.27 .. Rec_loss: 5397.8 .. NELBO: 5398.07
****************************************************************************************************
Validation loss decreased (10852.305664 --> 10796.137695).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.42 .. Rec_loss: 12104.48 .. NELBO: 12104.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.66 .. Rec_loss: 5361.41 .. NELBO: 5362.07
****************************************************************************************************
Validation loss decreased (10796.137695 --> 10724.151367).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 3.13 .. Rec_loss: 11997.23 .. NELBO: 12000.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.51 .. Rec_loss: 5325.89 .. NELBO: 5326.4
****************************************************************************************************
Validation loss decreased (10724.151367 --> 10652.795898).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.71 .. Rec_loss: 11893.75 .. NELBO: 11894.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 5303.35 .. NELBO: 5303.45
****************************************************************************************************
Validation loss decreased (10652.795898 --> 10606.889648).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.35 .. Rec_loss: 11815.09 .. NELBO: 11815.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.33 .. Rec_loss: 5303.18 .. NELBO: 5303.51
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 11782.71 .. NELBO: 11783.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5322.12 .. NELBO: 5322.2
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.28 .. Rec_loss: 11786.34 .. NELBO: 11786.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 5342.56 .. NELBO: 5342.99
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.79 .. Rec_loss: 11794.5 .. NELBO: 11795.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.72 .. Rec_loss: 5350.67 .. NELBO: 5351.39
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 1.23 .. Rec_loss: 11788.19 .. NELBO: 11789.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.31 .. Rec_loss: 5347.13 .. NELBO: 5348.44
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05623698083772616, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=83, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=83, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=83, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.32 .. Rec_loss: 12263.79 .. NELBO: 12264.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.09 .. Rec_loss: 5443.06 .. NELBO: 5444.15
****************************************************************************************************
Validation loss decreased (inf --> 10888.291016).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.46 .. Rec_loss: 12243.51 .. NELBO: 12244.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5427.54 .. NELBO: 5427.55
****************************************************************************************************
Validation loss decreased (10888.291016 --> 10855.099609).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.44 .. Rec_loss: 12194.01 .. NELBO: 12194.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.34 .. Rec_loss: 5400.42 .. NELBO: 5400.76
****************************************************************************************************
Validation loss decreased (10855.099609 --> 10801.516602).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.73 .. Rec_loss: 12111.65 .. NELBO: 12112.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.32 .. Rec_loss: 5364.56 .. NELBO: 5365.88
****************************************************************************************************
Validation loss decreased (10801.516602 --> 10731.752930).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 2.75 .. Rec_loss: 12006.37 .. NELBO: 12009.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.71 .. Rec_loss: 5328.68 .. NELBO: 5330.39
****************************************************************************************************
Validation loss decreased (10731.752930 --> 10660.781250).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 2.63 .. Rec_loss: 11899.8 .. NELBO: 11902.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.41 .. Rec_loss: 5304.79 .. NELBO: 5306.2
****************************************************************************************************
Validation loss decreased (10660.781250 --> 10612.410156).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 4.21 .. Rec_loss: 11817.79 .. NELBO: 11822.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.89 .. Rec_loss: 5301.83 .. NELBO: 5302.72
****************************************************************************************************
Validation loss decreased (10612.410156 --> 10605.439453).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 1.6 .. Rec_loss: 11783.63 .. NELBO: 11785.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 5318.5 .. NELBO: 5318.64
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.41 .. Rec_loss: 11783.28 .. NELBO: 11783.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.25 .. Rec_loss: 5339.02 .. NELBO: 5339.27
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.5 .. Rec_loss: 11791.79 .. NELBO: 11792.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.78 .. Rec_loss: 5347.88 .. NELBO: 5348.66
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 1.8 .. Rec_loss: 11786.06 .. NELBO: 11787.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.25 .. Rec_loss: 5345.39 .. NELBO: 5346.64
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 2.58 .. Rec_loss: 11772.78 .. NELBO: 11775.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.38 .. Rec_loss: 5338.86 .. NELBO: 5340.24
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  111
model: ETM(
  (t_drop): Dropout(p=0.05649356768787501, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=70, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=70, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=70, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 64.13 .. Rec_loss: 12264.11 .. NELBO: 12328.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.79 .. Rec_loss: 5443.75 .. NELBO: 5450.54
****************************************************************************************************
Validation loss decreased (inf --> 10901.072266).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.36 .. Rec_loss: 12247.61 .. NELBO: 12254.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.3 .. Rec_loss: 5431.3 .. NELBO: 5431.6
****************************************************************************************************
Validation loss decreased (10901.072266 --> 10863.196289).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.42 .. Rec_loss: 12206.64 .. NELBO: 12207.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5407.87 .. NELBO: 5407.92
****************************************************************************************************
Validation loss decreased (10863.196289 --> 10815.843750).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 12134.51 .. NELBO: 12134.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5375.01 .. NELBO: 5375.03
****************************************************************************************************
Validation loss decreased (10815.843750 --> 10750.066406).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12037.54 .. NELBO: 12037.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5338.81 .. NELBO: 5338.82
****************************************************************************************************
Validation loss decreased (10750.066406 --> 10677.647461).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11930.21 .. NELBO: 11930.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5310.02 .. NELBO: 5310.03
****************************************************************************************************
Validation loss decreased (10677.647461 --> 10620.078125).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11838.8 .. NELBO: 11838.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.63 .. NELBO: 5300.64
****************************************************************************************************
Validation loss decreased (10620.078125 --> 10601.280273).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11787.38 .. NELBO: 11787.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5313.95 .. NELBO: 5313.96
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.37 .. NELBO: 11781.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.07 .. NELBO: 5337.09
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11793.57 .. NELBO: 11793.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.8 .. NELBO: 5351.82
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.7 .. NELBO: 11795.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.02 .. NELBO: 5353.03
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11783.85 .. NELBO: 11783.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5346.78 .. NELBO: 5346.79
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05649356768787501, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=70, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=70, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=70, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 80.12 .. Rec_loss: 12264.66 .. NELBO: 12344.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.87 .. Rec_loss: 5444.63 .. NELBO: 5452.5
****************************************************************************************************
Validation loss decreased (inf --> 10904.987305).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.43 .. Rec_loss: 12250.48 .. NELBO: 12258.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.41 .. Rec_loss: 5433.45 .. NELBO: 5433.86
****************************************************************************************************
Validation loss decreased (10904.987305 --> 10867.721680).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.58 .. Rec_loss: 12213.6 .. NELBO: 12214.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5411.61 .. NELBO: 5411.67
****************************************************************************************************
Validation loss decreased (10867.721680 --> 10823.353516).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12145.79 .. NELBO: 12145.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5379.79 .. NELBO: 5379.81
****************************************************************************************************
Validation loss decreased (10823.353516 --> 10759.619141).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12051.15 .. NELBO: 12051.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5343.34 .. NELBO: 5343.35
****************************************************************************************************
Validation loss decreased (10759.619141 --> 10686.712891).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11943.74 .. NELBO: 11943.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5312.64 .. NELBO: 5312.65
****************************************************************************************************
Validation loss decreased (10686.712891 --> 10625.304688).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11847.82 .. NELBO: 11847.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.2 .. NELBO: 5300.21
****************************************************************************************************
Validation loss decreased (10625.304688 --> 10600.432617).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11790.33 .. NELBO: 11790.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.35 .. NELBO: 5311.37
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11779.66 .. NELBO: 11779.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5334.86 .. NELBO: 5334.88
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11792.06 .. NELBO: 11792.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.48 .. NELBO: 5351.5
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.45 .. NELBO: 11796.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5354.08 .. NELBO: 5354.1
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11785.8 .. NELBO: 11785.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5348.2 .. NELBO: 5348.22
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05649356768787501, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=70, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=70, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=70, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 77.14 .. Rec_loss: 12263.9 .. NELBO: 12341.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.23 .. Rec_loss: 5443.7 .. NELBO: 5450.93
****************************************************************************************************
Validation loss decreased (inf --> 10901.864258).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.93 .. Rec_loss: 12247.68 .. NELBO: 12255.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 5431.67 .. NELBO: 5432.06
****************************************************************************************************
Validation loss decreased (10901.864258 --> 10864.106445).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.54 .. Rec_loss: 12208.03 .. NELBO: 12208.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5408.57 .. NELBO: 5408.63
****************************************************************************************************
Validation loss decreased (10864.106445 --> 10817.264648).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 12136.94 .. NELBO: 12137.03
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5375.81 .. NELBO: 5375.83
****************************************************************************************************
Validation loss decreased (10817.264648 --> 10751.660156).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12039.84 .. NELBO: 12039.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5339.37 .. NELBO: 5339.38
****************************************************************************************************
Validation loss decreased (10751.660156 --> 10678.763672).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11932.07 .. NELBO: 11932.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5310.2 .. NELBO: 5310.21
****************************************************************************************************
Validation loss decreased (10678.763672 --> 10620.424805).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11839.25 .. NELBO: 11839.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.57 .. NELBO: 5300.58
****************************************************************************************************
Validation loss decreased (10620.424805 --> 10601.159180).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11787.97 .. NELBO: 11788.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5314.0 .. NELBO: 5314.01
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.85 .. NELBO: 11781.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5337.26 .. NELBO: 5337.27
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11794.2 .. NELBO: 11794.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5351.94 .. NELBO: 5351.95
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.99 .. NELBO: 11796.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5352.93 .. NELBO: 5352.94
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11782.98 .. NELBO: 11783.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5346.6 .. NELBO: 5346.61
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  112
model: ETM(
  (t_drop): Dropout(p=0.05606225913573055, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=77, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=77, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=77, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 84.03 .. Rec_loss: 12264.55 .. NELBO: 12348.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.36 .. Rec_loss: 5444.41 .. NELBO: 5452.77
****************************************************************************************************
Validation loss decreased (inf --> 10905.525391).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 9.05 .. Rec_loss: 12249.54 .. NELBO: 12258.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 5432.59 .. NELBO: 5433.04
****************************************************************************************************
Validation loss decreased (10905.525391 --> 10866.075195).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.64 .. Rec_loss: 12211.4 .. NELBO: 12212.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5410.39 .. NELBO: 5410.47
****************************************************************************************************
Validation loss decreased (10866.075195 --> 10820.929688).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12143.55 .. NELBO: 12143.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5378.35 .. NELBO: 5378.38
****************************************************************************************************
Validation loss decreased (10820.929688 --> 10756.759766).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12048.71 .. NELBO: 12048.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5342.05 .. NELBO: 5342.07
****************************************************************************************************
Validation loss decreased (10756.759766 --> 10684.135742).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11940.57 .. NELBO: 11940.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.89 .. NELBO: 5311.91
****************************************************************************************************
Validation loss decreased (10684.135742 --> 10623.807617).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11847.12 .. NELBO: 11847.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.07 .. NELBO: 5300.09
****************************************************************************************************
Validation loss decreased (10623.807617 --> 10600.167969).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11791.1 .. NELBO: 11791.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.38 .. NELBO: 5311.4
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11780.74 .. NELBO: 11780.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5334.4 .. NELBO: 5334.42
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11792.65 .. NELBO: 11792.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.49 .. NELBO: 5350.51
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.7 .. NELBO: 11795.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.91 .. NELBO: 5352.93
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11785.05 .. NELBO: 11785.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.15 .. NELBO: 5347.17
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05606225913573055, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=77, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=77, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=77, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 83.86 .. Rec_loss: 12264.07 .. NELBO: 12347.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.94 .. Rec_loss: 5443.77 .. NELBO: 5451.71
****************************************************************************************************
Validation loss decreased (inf --> 10903.423828).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.59 .. Rec_loss: 12247.46 .. NELBO: 12256.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.4 .. Rec_loss: 5431.36 .. NELBO: 5431.76
****************************************************************************************************
Validation loss decreased (10903.423828 --> 10863.517578).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.57 .. Rec_loss: 12206.69 .. NELBO: 12207.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5407.92 .. NELBO: 5407.99
****************************************************************************************************
Validation loss decreased (10863.517578 --> 10815.967773).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12135.22 .. NELBO: 12135.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5374.93 .. NELBO: 5374.95
****************************************************************************************************
Validation loss decreased (10815.967773 --> 10749.895508).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12038.04 .. NELBO: 12038.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5338.54 .. NELBO: 5338.56
****************************************************************************************************
Validation loss decreased (10749.895508 --> 10677.115234).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11929.34 .. NELBO: 11929.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5309.71 .. NELBO: 5309.72
****************************************************************************************************
Validation loss decreased (10677.115234 --> 10619.442383).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11838.15 .. NELBO: 11838.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.45 .. NELBO: 5300.46
****************************************************************************************************
Validation loss decreased (10619.442383 --> 10600.922852).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11787.25 .. NELBO: 11787.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5314.05 .. NELBO: 5314.06
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11782.09 .. NELBO: 11782.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5337.21 .. NELBO: 5337.22
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11793.6 .. NELBO: 11793.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5351.79 .. NELBO: 5351.8
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.9 .. NELBO: 11795.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5352.78 .. NELBO: 5352.79
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11783.51 .. NELBO: 11783.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5346.45 .. NELBO: 5346.46
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05606225913573055, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=77, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=77, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=77, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 79.46 .. Rec_loss: 12264.15 .. NELBO: 12343.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.26 .. Rec_loss: 5443.71 .. NELBO: 5450.97
****************************************************************************************************
Validation loss decreased (inf --> 10901.930664).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.95 .. Rec_loss: 12247.75 .. NELBO: 12255.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.44 .. Rec_loss: 5431.06 .. NELBO: 5431.5
****************************************************************************************************
Validation loss decreased (10901.930664 --> 10862.997070).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.63 .. Rec_loss: 12206.26 .. NELBO: 12206.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5407.3 .. NELBO: 5407.37
****************************************************************************************************
Validation loss decreased (10862.997070 --> 10814.755859).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12133.64 .. NELBO: 12133.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5374.03 .. NELBO: 5374.06
****************************************************************************************************
Validation loss decreased (10814.755859 --> 10748.110352).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12035.45 .. NELBO: 12035.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.55 .. NELBO: 5337.57
****************************************************************************************************
Validation loss decreased (10748.110352 --> 10675.135742).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11928.05 .. NELBO: 11928.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5308.94 .. NELBO: 5308.96
****************************************************************************************************
Validation loss decreased (10675.135742 --> 10617.924805).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11836.52 .. NELBO: 11836.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.28 .. NELBO: 5300.3
****************************************************************************************************
Validation loss decreased (10617.924805 --> 10600.607422).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11787.18 .. NELBO: 11787.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5314.47 .. NELBO: 5314.49
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11782.12 .. NELBO: 11782.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.75 .. NELBO: 5337.77
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11794.61 .. NELBO: 11794.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.99 .. NELBO: 5352.01
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.41 .. NELBO: 11795.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.76 .. NELBO: 5352.78
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11782.9 .. NELBO: 11782.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.44 .. NELBO: 5346.46
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  113
model: ETM(
  (t_drop): Dropout(p=0.05614029990687932, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=81, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=81, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=81, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 97.43 .. Rec_loss: 12264.47 .. NELBO: 12361.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.68 .. Rec_loss: 5444.69 .. NELBO: 5453.37
****************************************************************************************************
Validation loss decreased (inf --> 10906.754883).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 9.43 .. Rec_loss: 12250.64 .. NELBO: 12260.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.57 .. Rec_loss: 5433.67 .. NELBO: 5434.24
****************************************************************************************************
Validation loss decreased (10906.754883 --> 10868.478516).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.81 .. Rec_loss: 12214.62 .. NELBO: 12215.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5412.42 .. NELBO: 5412.51
****************************************************************************************************
Validation loss decreased (10868.478516 --> 10825.036133).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 12149.05 .. NELBO: 12149.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5381.28 .. NELBO: 5381.31
****************************************************************************************************
Validation loss decreased (10825.036133 --> 10762.620117).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12056.38 .. NELBO: 12056.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5345.18 .. NELBO: 5345.2
****************************************************************************************************
Validation loss decreased (10762.620117 --> 10690.394531).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11949.42 .. NELBO: 11949.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.98 .. NELBO: 5314.0
****************************************************************************************************
Validation loss decreased (10690.394531 --> 10627.990234).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11852.42 .. NELBO: 11852.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.18 .. NELBO: 5300.2
****************************************************************************************************
Validation loss decreased (10627.990234 --> 10600.398438).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11792.6 .. NELBO: 11792.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.0 .. NELBO: 5310.02
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11779.37 .. NELBO: 11779.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5333.34 .. NELBO: 5333.36
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11791.82 .. NELBO: 11791.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.92 .. NELBO: 5350.94
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11797.27 .. NELBO: 11797.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5354.39 .. NELBO: 5354.41
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11786.91 .. NELBO: 11786.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5348.8 .. NELBO: 5348.82
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05614029990687932, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=81, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=81, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=81, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 79.84 .. Rec_loss: 12263.74 .. NELBO: 12343.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.19 .. Rec_loss: 5443.9 .. NELBO: 5452.09
****************************************************************************************************
Validation loss decreased (inf --> 10904.175781).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.9 .. Rec_loss: 12247.95 .. NELBO: 12256.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 5431.82 .. NELBO: 5432.2
****************************************************************************************************
Validation loss decreased (10904.175781 --> 10864.408203).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.54 .. Rec_loss: 12208.05 .. NELBO: 12208.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5408.88 .. NELBO: 5408.94
****************************************************************************************************
Validation loss decreased (10864.408203 --> 10817.874023).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 12137.56 .. NELBO: 12137.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5376.34 .. NELBO: 5376.36
****************************************************************************************************
Validation loss decreased (10817.874023 --> 10752.724609).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12040.65 .. NELBO: 12040.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5340.04 .. NELBO: 5340.06
****************************************************************************************************
Validation loss decreased (10752.724609 --> 10680.125000).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11933.15 .. NELBO: 11933.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.72 .. NELBO: 5310.74
****************************************************************************************************
Validation loss decreased (10680.125000 --> 10621.480469).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11840.64 .. NELBO: 11840.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.59 .. NELBO: 5300.61
****************************************************************************************************
Validation loss decreased (10621.480469 --> 10601.216797).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11787.93 .. NELBO: 11787.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.55 .. NELBO: 5313.57
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.78 .. NELBO: 11780.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.9 .. NELBO: 5336.92
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.45 .. NELBO: 11793.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.1 .. NELBO: 5352.12
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.21 .. NELBO: 11796.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.49 .. NELBO: 5353.51
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11784.42 .. NELBO: 11784.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.15 .. NELBO: 5347.17
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05614029990687932, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=81, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=81, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=81, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 95.27 .. Rec_loss: 12264.21 .. NELBO: 12359.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.86 .. Rec_loss: 5444.09 .. NELBO: 5452.95
****************************************************************************************************
Validation loss decreased (inf --> 10905.894531).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 9.56 .. Rec_loss: 12249.21 .. NELBO: 12258.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.49 .. Rec_loss: 5432.91 .. NELBO: 5433.4
****************************************************************************************************
Validation loss decreased (10905.894531 --> 10866.801758).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.7 .. Rec_loss: 12212.38 .. NELBO: 12213.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5410.89 .. NELBO: 5410.97
****************************************************************************************************
Validation loss decreased (10866.801758 --> 10821.924805).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12143.7 .. NELBO: 12143.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5379.17 .. NELBO: 5379.19
****************************************************************************************************
Validation loss decreased (10821.924805 --> 10758.385742).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12049.6 .. NELBO: 12049.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5343.03 .. NELBO: 5343.05
****************************************************************************************************
Validation loss decreased (10758.385742 --> 10686.090820).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11941.94 .. NELBO: 11941.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.67 .. NELBO: 5312.69
****************************************************************************************************
Validation loss decreased (10686.090820 --> 10625.375977).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11847.2 .. NELBO: 11847.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.43 .. NELBO: 5300.45
****************************************************************************************************
Validation loss decreased (10625.375977 --> 10600.894531).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11790.54 .. NELBO: 11790.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.48 .. NELBO: 5311.5
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11779.97 .. NELBO: 11780.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5334.67 .. NELBO: 5334.69
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.25 .. NELBO: 11792.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.2 .. NELBO: 5351.22
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.51 .. NELBO: 11796.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.88 .. NELBO: 5353.9
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11786.12 .. NELBO: 11786.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5348.08 .. NELBO: 5348.1
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  114
model: ETM(
  (t_drop): Dropout(p=0.055353314383848384, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=91, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=91, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=91, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 98.01 .. Rec_loss: 12264.11 .. NELBO: 12362.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.42 .. Rec_loss: 5444.23 .. NELBO: 5452.65
****************************************************************************************************
Validation loss decreased (inf --> 10905.296875).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 9.12 .. Rec_loss: 12249.29 .. NELBO: 12258.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.51 .. Rec_loss: 5432.71 .. NELBO: 5433.22
****************************************************************************************************
Validation loss decreased (10905.296875 --> 10866.443359).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.72 .. Rec_loss: 12211.04 .. NELBO: 12211.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5410.11 .. NELBO: 5410.19
****************************************************************************************************
Validation loss decreased (10866.443359 --> 10820.377930).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12141.05 .. NELBO: 12141.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5377.56 .. NELBO: 5377.58
****************************************************************************************************
Validation loss decreased (10820.377930 --> 10755.166016).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12044.11 .. NELBO: 12044.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5340.88 .. NELBO: 5340.9
****************************************************************************************************
Validation loss decreased (10755.166016 --> 10681.786133).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11935.2 .. NELBO: 11935.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.93 .. NELBO: 5310.95
****************************************************************************************************
Validation loss decreased (10681.786133 --> 10621.890625).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11840.95 .. NELBO: 11840.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.36 .. NELBO: 5300.38
****************************************************************************************************
Validation loss decreased (10621.890625 --> 10600.751953).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11787.51 .. NELBO: 11787.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.41 .. NELBO: 5313.43
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11780.88 .. NELBO: 11780.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.13 .. NELBO: 5337.15
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11793.96 .. NELBO: 11793.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.49 .. NELBO: 5352.51
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.41 .. NELBO: 11796.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.82 .. NELBO: 5353.84
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11784.31 .. NELBO: 11784.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.44 .. NELBO: 5347.46
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.055353314383848384, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=91, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=91, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=91, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 102.75 .. Rec_loss: 12263.85 .. NELBO: 12366.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.84 .. Rec_loss: 5443.85 .. NELBO: 5452.69
****************************************************************************************************
Validation loss decreased (inf --> 10905.388672).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 9.46 .. Rec_loss: 12247.91 .. NELBO: 12257.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.54 .. Rec_loss: 5431.68 .. NELBO: 5432.22
****************************************************************************************************
Validation loss decreased (10905.388672 --> 10864.438477).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.79 .. Rec_loss: 12208.16 .. NELBO: 12208.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 5408.73 .. NELBO: 5408.83
****************************************************************************************************
Validation loss decreased (10864.438477 --> 10817.651367).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.15 .. Rec_loss: 12137.15 .. NELBO: 12137.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5376.24 .. NELBO: 5376.27
****************************************************************************************************
Validation loss decreased (10817.651367 --> 10752.539062).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12040.97 .. NELBO: 12041.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5340.11 .. NELBO: 5340.13
****************************************************************************************************
Validation loss decreased (10752.539062 --> 10680.250977).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11934.31 .. NELBO: 11934.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.87 .. NELBO: 5310.89
****************************************************************************************************
Validation loss decreased (10680.250977 --> 10621.782227).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11841.49 .. NELBO: 11841.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.53 .. NELBO: 5300.55
****************************************************************************************************
Validation loss decreased (10621.782227 --> 10601.099609).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11788.71 .. NELBO: 11788.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.96 .. NELBO: 5312.98
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.03 .. NELBO: 11781.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.91 .. NELBO: 5335.93
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.93 .. NELBO: 11792.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.22 .. NELBO: 5351.24
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.42 .. NELBO: 11795.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.06 .. NELBO: 5353.08
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11784.51 .. NELBO: 11784.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.1 .. NELBO: 5347.12
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.055353314383848384, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=91, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=91, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=91, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 88.61 .. Rec_loss: 12264.25 .. NELBO: 12352.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.96 .. Rec_loss: 5444.09 .. NELBO: 5452.05
****************************************************************************************************
Validation loss decreased (inf --> 10904.093750).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.63 .. Rec_loss: 12248.42 .. NELBO: 12257.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.41 .. Rec_loss: 5431.79 .. NELBO: 5432.2
****************************************************************************************************
Validation loss decreased (10904.093750 --> 10864.401367).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.59 .. Rec_loss: 12208.42 .. NELBO: 12209.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5408.76 .. NELBO: 5408.83
****************************************************************************************************
Validation loss decreased (10864.401367 --> 10817.643555).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12138.14 .. NELBO: 12138.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5376.15 .. NELBO: 5376.17
****************************************************************************************************
Validation loss decreased (10817.643555 --> 10752.348633).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12041.58 .. NELBO: 12041.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5339.86 .. NELBO: 5339.88
****************************************************************************************************
Validation loss decreased (10752.348633 --> 10679.757812).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11934.14 .. NELBO: 11934.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.57 .. NELBO: 5310.59
****************************************************************************************************
Validation loss decreased (10679.757812 --> 10621.168945).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11841.4 .. NELBO: 11841.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.37 .. NELBO: 5300.39
****************************************************************************************************
Validation loss decreased (10621.168945 --> 10600.785156).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11788.65 .. NELBO: 11788.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.11 .. NELBO: 5313.13
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.58 .. NELBO: 11781.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.18 .. NELBO: 5336.2
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.17 .. NELBO: 11793.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.28 .. NELBO: 5351.3
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.02 .. NELBO: 11795.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.89 .. NELBO: 5352.91
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11783.82 .. NELBO: 11783.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.86 .. NELBO: 5346.88
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  115
model: ETM(
  (t_drop): Dropout(p=0.05579769193739372, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=51, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=51, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=51, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 62.16 .. Rec_loss: 12263.94 .. NELBO: 12326.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.54 .. Rec_loss: 5443.46 .. NELBO: 5450.0
****************************************************************************************************
Validation loss decreased (inf --> 10900.015625).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.07 .. Rec_loss: 12246.64 .. NELBO: 12253.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.3 .. Rec_loss: 5431.01 .. NELBO: 5431.31
****************************************************************************************************
Validation loss decreased (10900.015625 --> 10862.625977).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 12205.76 .. NELBO: 12206.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5407.84 .. NELBO: 5407.89
****************************************************************************************************
Validation loss decreased (10862.625977 --> 10815.771484).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 12136.31 .. NELBO: 12136.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5375.38 .. NELBO: 5375.4
****************************************************************************************************
Validation loss decreased (10815.771484 --> 10750.783203).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12039.56 .. NELBO: 12039.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5339.4 .. NELBO: 5339.41
****************************************************************************************************
Validation loss decreased (10750.783203 --> 10678.829102).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11932.9 .. NELBO: 11932.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5310.39 .. NELBO: 5310.4
****************************************************************************************************
Validation loss decreased (10678.829102 --> 10620.797852).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11840.99 .. NELBO: 11841.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.24 .. NELBO: 5300.25
****************************************************************************************************
Validation loss decreased (10620.797852 --> 10600.502930).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11788.37 .. NELBO: 11788.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5312.88 .. NELBO: 5312.89
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11780.59 .. NELBO: 11780.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.1 .. NELBO: 5336.12
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11792.69 .. NELBO: 11792.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.57 .. NELBO: 5351.59
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.88 .. NELBO: 11795.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.29 .. NELBO: 5353.31
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11784.67 .. NELBO: 11784.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5347.11 .. NELBO: 5347.12
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05579769193739372, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=51, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=51, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=51, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 64.99 .. Rec_loss: 12264.08 .. NELBO: 12329.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.29 .. Rec_loss: 5443.75 .. NELBO: 5451.04
****************************************************************************************************
Validation loss decreased (inf --> 10902.090820).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.86 .. Rec_loss: 12248.62 .. NELBO: 12256.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 5432.73 .. NELBO: 5433.11
****************************************************************************************************
Validation loss decreased (10902.090820 --> 10866.217773).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.57 .. Rec_loss: 12212.07 .. NELBO: 12212.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5411.2 .. NELBO: 5411.28
****************************************************************************************************
Validation loss decreased (10866.217773 --> 10822.567383).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 12146.51 .. NELBO: 12146.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5380.02 .. NELBO: 5380.04
****************************************************************************************************
Validation loss decreased (10822.567383 --> 10760.086914).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12053.91 .. NELBO: 12053.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5344.18 .. NELBO: 5344.19
****************************************************************************************************
Validation loss decreased (10760.086914 --> 10688.378906).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11946.49 .. NELBO: 11946.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5313.47 .. NELBO: 5313.48
****************************************************************************************************
Validation loss decreased (10688.378906 --> 10626.967773).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11851.78 .. NELBO: 11851.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.06 .. NELBO: 5300.07
****************************************************************************************************
Validation loss decreased (10626.967773 --> 10600.148438).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11792.75 .. NELBO: 11792.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5309.84 .. NELBO: 5309.85
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11779.73 .. NELBO: 11779.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5332.89 .. NELBO: 5332.9
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11791.38 .. NELBO: 11791.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5350.28 .. NELBO: 5350.29
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11796.85 .. NELBO: 11796.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.82 .. NELBO: 5353.83
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11785.34 .. NELBO: 11785.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5348.44 .. NELBO: 5348.45
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05579769193739372, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=51, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=51, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=51, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 66.4 .. Rec_loss: 12264.22 .. NELBO: 12330.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.49 .. Rec_loss: 5443.55 .. NELBO: 5450.04
****************************************************************************************************
Validation loss decreased (inf --> 10900.064453).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 6.89 .. Rec_loss: 12247.38 .. NELBO: 12254.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.35 .. Rec_loss: 5431.33 .. NELBO: 5431.68
****************************************************************************************************
Validation loss decreased (10900.064453 --> 10863.359375).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.53 .. Rec_loss: 12207.6 .. NELBO: 12208.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5408.31 .. NELBO: 5408.39
****************************************************************************************************
Validation loss decreased (10863.359375 --> 10816.764648).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12137.27 .. NELBO: 12137.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5375.63 .. NELBO: 5375.65
****************************************************************************************************
Validation loss decreased (10816.764648 --> 10751.312500).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12040.82 .. NELBO: 12040.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5339.24 .. NELBO: 5339.26
****************************************************************************************************
Validation loss decreased (10751.312500 --> 10678.504883).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11932.36 .. NELBO: 11932.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5309.87 .. NELBO: 5309.89
****************************************************************************************************
Validation loss decreased (10678.504883 --> 10619.783203).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11840.12 .. NELBO: 11840.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5299.82 .. NELBO: 5299.85
****************************************************************************************************
Validation loss decreased (10619.783203 --> 10599.708008).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 11787.64 .. NELBO: 11787.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5312.99 .. NELBO: 5313.03
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 11780.81 .. NELBO: 11780.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5336.52 .. NELBO: 5336.56
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 11793.43 .. NELBO: 11793.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5351.82 .. NELBO: 5351.86
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 11795.73 .. NELBO: 11795.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5353.35 .. NELBO: 5353.38
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 11784.25 .. NELBO: 11784.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5347.19 .. NELBO: 5347.22
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  116
model: ETM(
  (t_drop): Dropout(p=0.06347318707003503, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=72, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=72, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=72, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 81.15 .. Rec_loss: 12264.05 .. NELBO: 12345.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.49 .. Rec_loss: 5443.89 .. NELBO: 5451.38
****************************************************************************************************
Validation loss decreased (inf --> 10902.766602).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.08 .. Rec_loss: 12247.65 .. NELBO: 12255.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.42 .. Rec_loss: 5431.39 .. NELBO: 5431.81
****************************************************************************************************
Validation loss decreased (10902.766602 --> 10863.615234).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.6 .. Rec_loss: 12207.33 .. NELBO: 12207.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5408.2 .. NELBO: 5408.27
****************************************************************************************************
Validation loss decreased (10863.615234 --> 10816.531250).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12136.15 .. NELBO: 12136.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5375.53 .. NELBO: 5375.55
****************************************************************************************************
Validation loss decreased (10816.531250 --> 10751.091797).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12040.0 .. NELBO: 12040.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5339.32 .. NELBO: 5339.33
****************************************************************************************************
Validation loss decreased (10751.091797 --> 10678.669922).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11932.24 .. NELBO: 11932.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5310.31 .. NELBO: 5310.32
****************************************************************************************************
Validation loss decreased (10678.669922 --> 10620.653320).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11840.69 .. NELBO: 11840.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.51 .. NELBO: 5300.52
****************************************************************************************************
Validation loss decreased (10620.653320 --> 10601.045898).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11788.67 .. NELBO: 11788.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5313.48 .. NELBO: 5313.49
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11781.59 .. NELBO: 11781.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5336.51 .. NELBO: 5336.52
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11793.85 .. NELBO: 11793.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5351.39 .. NELBO: 5351.4
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11795.32 .. NELBO: 11795.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5352.76 .. NELBO: 5352.77
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11783.8 .. NELBO: 11783.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5346.64 .. NELBO: 5346.65
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06347318707003503, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=72, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=72, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=72, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 82.52 .. Rec_loss: 12263.49 .. NELBO: 12346.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.33 .. Rec_loss: 5443.25 .. NELBO: 5450.58
****************************************************************************************************
Validation loss decreased (inf --> 10901.160156).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.96 .. Rec_loss: 12245.8 .. NELBO: 12253.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 5430.45 .. NELBO: 5430.88
****************************************************************************************************
Validation loss decreased (10901.160156 --> 10861.761719).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.62 .. Rec_loss: 12204.37 .. NELBO: 12204.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5406.3 .. NELBO: 5406.37
****************************************************************************************************
Validation loss decreased (10861.761719 --> 10812.751953).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12129.92 .. NELBO: 12130.03
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5372.77 .. NELBO: 5372.79
****************************************************************************************************
Validation loss decreased (10812.751953 --> 10745.586914).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12031.21 .. NELBO: 12031.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.4 .. NELBO: 5336.42
****************************************************************************************************
Validation loss decreased (10745.586914 --> 10672.835938).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11922.84 .. NELBO: 11922.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5308.39 .. NELBO: 5308.4
****************************************************************************************************
Validation loss decreased (10672.835938 --> 10616.810547).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11832.35 .. NELBO: 11832.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.67 .. NELBO: 5300.68
****************************************************************************************************
Validation loss decreased (10616.810547 --> 10601.363281).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11784.94 .. NELBO: 11784.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5315.56 .. NELBO: 5315.58
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.78 .. NELBO: 11781.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5338.9 .. NELBO: 5338.92
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11794.76 .. NELBO: 11794.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5352.73 .. NELBO: 5352.74
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.62 .. NELBO: 11795.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.02 .. NELBO: 5353.03
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11782.78 .. NELBO: 11782.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5346.39 .. NELBO: 5346.4
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06347318707003503, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=72, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=72, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=72, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 89.76 .. Rec_loss: 12264.31 .. NELBO: 12354.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.7 .. Rec_loss: 5444.22 .. NELBO: 5452.92
****************************************************************************************************
Validation loss decreased (inf --> 10905.851562).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 9.26 .. Rec_loss: 12249.64 .. NELBO: 12258.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.41 .. Rec_loss: 5433.02 .. NELBO: 5433.43
****************************************************************************************************
Validation loss decreased (10905.851562 --> 10866.847656).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.59 .. Rec_loss: 12212.68 .. NELBO: 12213.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5410.87 .. NELBO: 5410.95
****************************************************************************************************
Validation loss decreased (10866.847656 --> 10821.888672).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12144.41 .. NELBO: 12144.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5378.86 .. NELBO: 5378.89
****************************************************************************************************
Validation loss decreased (10821.888672 --> 10757.764648).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12049.37 .. NELBO: 12049.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5342.43 .. NELBO: 5342.45
****************************************************************************************************
Validation loss decreased (10757.764648 --> 10684.903320).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11941.1 .. NELBO: 11941.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.01 .. NELBO: 5312.03
****************************************************************************************************
Validation loss decreased (10684.903320 --> 10624.056641).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11845.91 .. NELBO: 11845.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.11 .. NELBO: 5300.13
****************************************************************************************************
Validation loss decreased (10624.056641 --> 10600.262695).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11789.67 .. NELBO: 11789.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.73 .. NELBO: 5311.75
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.15 .. NELBO: 11780.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.24 .. NELBO: 5335.26
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.67 .. NELBO: 11792.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.64 .. NELBO: 5351.66
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.25 .. NELBO: 11796.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5354.05 .. NELBO: 5354.07
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11785.58 .. NELBO: 11785.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5348.09 .. NELBO: 5348.11
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  117
model: ETM(
  (t_drop): Dropout(p=0.056102620718480656, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=96, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=96, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=96, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.25 .. Rec_loss: 12263.7 .. NELBO: 12263.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.4 .. Rec_loss: 5443.01 .. NELBO: 5445.41
****************************************************************************************************
Validation loss decreased (inf --> 10890.832031).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 2.56 .. Rec_loss: 12243.1 .. NELBO: 12245.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5427.14 .. NELBO: 5427.17
****************************************************************************************************
Validation loss decreased (10890.832031 --> 10854.339844).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.52 .. Rec_loss: 12192.4 .. NELBO: 12192.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.15 .. Rec_loss: 5399.65 .. NELBO: 5399.8
****************************************************************************************************
Validation loss decreased (10854.339844 --> 10799.608398).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.58 .. Rec_loss: 12109.34 .. NELBO: 12109.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.38 .. Rec_loss: 5363.48 .. NELBO: 5364.86
****************************************************************************************************
Validation loss decreased (10799.608398 --> 10729.728516).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 3.07 .. Rec_loss: 12003.71 .. NELBO: 12006.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.61 .. Rec_loss: 5328.68 .. NELBO: 5330.29
****************************************************************************************************
Validation loss decreased (10729.728516 --> 10660.583008).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 3.32 .. Rec_loss: 11899.53 .. NELBO: 11902.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.87 .. Rec_loss: 5304.63 .. NELBO: 5306.5
****************************************************************************************************
Validation loss decreased (10660.583008 --> 10612.985352).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 2.5 .. Rec_loss: 11818.97 .. NELBO: 11821.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 5302.9 .. NELBO: 5303.02
****************************************************************************************************
Validation loss decreased (10612.985352 --> 10606.036133).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.19 .. Rec_loss: 11783.65 .. NELBO: 11783.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 5320.49 .. NELBO: 5320.6
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 11785.22 .. NELBO: 11785.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.17 .. Rec_loss: 5341.4 .. NELBO: 5341.57
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.5 .. Rec_loss: 11794.1 .. NELBO: 11794.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 5350.37 .. NELBO: 5350.82
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 1.54 .. Rec_loss: 11789.22 .. NELBO: 11790.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.52 .. Rec_loss: 5347.09 .. NELBO: 5348.61
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 2.95 .. Rec_loss: 11773.98 .. NELBO: 11776.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.05 .. Rec_loss: 5341.06 .. NELBO: 5342.11
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.056102620718480656, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=96, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=96, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=96, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.35 .. Rec_loss: 12263.96 .. NELBO: 12264.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.63 .. Rec_loss: 5443.43 .. NELBO: 5445.06
****************************************************************************************************
Validation loss decreased (inf --> 10890.123047).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.9 .. Rec_loss: 12244.66 .. NELBO: 12246.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5428.1 .. NELBO: 5428.12
****************************************************************************************************
Validation loss decreased (10890.123047 --> 10856.225586).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.56 .. Rec_loss: 12195.44 .. NELBO: 12196.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 5401.03 .. NELBO: 5401.25
****************************************************************************************************
Validation loss decreased (10856.225586 --> 10802.485352).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.62 .. Rec_loss: 12114.08 .. NELBO: 12114.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.88 .. Rec_loss: 5365.35 .. NELBO: 5366.23
****************************************************************************************************
Validation loss decreased (10802.485352 --> 10732.474609).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 2.28 .. Rec_loss: 12008.98 .. NELBO: 12011.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.34 .. Rec_loss: 5329.59 .. NELBO: 5329.93
****************************************************************************************************
Validation loss decreased (10732.474609 --> 10659.863281).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.41 .. Rec_loss: 11903.87 .. NELBO: 11904.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5305.21 .. NELBO: 5305.3
****************************************************************************************************
Validation loss decreased (10659.863281 --> 10610.604492).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.55 .. Rec_loss: 11821.4 .. NELBO: 11821.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.25 .. Rec_loss: 5302.64 .. NELBO: 5302.89
****************************************************************************************************
Validation loss decreased (10610.604492 --> 10605.771484).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 11784.39 .. NELBO: 11784.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.37 .. Rec_loss: 5319.97 .. NELBO: 5320.34
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.54 .. Rec_loss: 11785.18 .. NELBO: 11785.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.28 .. Rec_loss: 5341.35 .. NELBO: 5341.63
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.54 .. Rec_loss: 11794.55 .. NELBO: 11795.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.88 .. Rec_loss: 5350.4 .. NELBO: 5351.28
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 2.16 .. Rec_loss: 11789.09 .. NELBO: 11791.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.2 .. Rec_loss: 5347.17 .. NELBO: 5349.37
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 4.32 .. Rec_loss: 11772.87 .. NELBO: 11777.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.43 .. Rec_loss: 5340.45 .. NELBO: 5342.88
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.056102620718480656, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=96, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=96, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=96, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.3 .. Rec_loss: 12263.79 .. NELBO: 12264.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.35 .. Rec_loss: 5442.9 .. NELBO: 5445.25
****************************************************************************************************
Validation loss decreased (inf --> 10890.496094).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 2.55 .. Rec_loss: 12242.81 .. NELBO: 12245.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5426.79 .. NELBO: 5426.82
****************************************************************************************************
Validation loss decreased (10890.496094 --> 10853.633789).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.57 .. Rec_loss: 12191.62 .. NELBO: 12192.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 5399.19 .. NELBO: 5399.41
****************************************************************************************************
Validation loss decreased (10853.633789 --> 10798.817383).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.64 .. Rec_loss: 12109.96 .. NELBO: 12110.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.92 .. Rec_loss: 5363.23 .. NELBO: 5364.15
****************************************************************************************************
Validation loss decreased (10798.817383 --> 10728.305664).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 3.99 .. Rec_loss: 12003.41 .. NELBO: 12007.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.37 .. Rec_loss: 5328.03 .. NELBO: 5328.4
****************************************************************************************************
Validation loss decreased (10728.305664 --> 10656.804688).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.69 .. Rec_loss: 11900.93 .. NELBO: 11901.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.27 .. Rec_loss: 5304.28 .. NELBO: 5304.55
****************************************************************************************************
Validation loss decreased (10656.804688 --> 10609.097656).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.66 .. Rec_loss: 11819.92 .. NELBO: 11820.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.3 .. Rec_loss: 5302.39 .. NELBO: 5302.69
****************************************************************************************************
Validation loss decreased (10609.097656 --> 10605.371094).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.42 .. Rec_loss: 11784.15 .. NELBO: 11784.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.23 .. Rec_loss: 5320.07 .. NELBO: 5320.3
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.57 .. Rec_loss: 11785.59 .. NELBO: 11786.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.23 .. Rec_loss: 5340.98 .. NELBO: 5341.21
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 11794.4 .. NELBO: 11794.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.34 .. Rec_loss: 5350.6 .. NELBO: 5350.94
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.83 .. Rec_loss: 11790.0 .. NELBO: 11790.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.93 .. Rec_loss: 5348.06 .. NELBO: 5348.99
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 1.85 .. Rec_loss: 11775.12 .. NELBO: 11776.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.95 .. Rec_loss: 5341.54 .. NELBO: 5342.49
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  118
model: ETM(
  (t_drop): Dropout(p=0.0330027276630495, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=57, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=57, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=57, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.29 .. Rec_loss: 12263.08 .. NELBO: 12263.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.41 .. Rec_loss: 5441.95 .. NELBO: 5442.36
****************************************************************************************************
Validation loss decreased (inf --> 10884.728516).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.25 .. Rec_loss: 12239.54 .. NELBO: 12240.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5424.48 .. NELBO: 5424.5
****************************************************************************************************
Validation loss decreased (10884.728516 --> 10848.998047).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12184.56 .. NELBO: 12184.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.16 .. Rec_loss: 5395.29 .. NELBO: 5395.45
****************************************************************************************************
Validation loss decreased (10848.998047 --> 10790.894531).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.52 .. Rec_loss: 12096.68 .. NELBO: 12097.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.3 .. Rec_loss: 5357.78 .. NELBO: 5359.08
****************************************************************************************************
Validation loss decreased (10790.894531 --> 10718.172852).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 3.38 .. Rec_loss: 11986.35 .. NELBO: 11989.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.48 .. Rec_loss: 5322.84 .. NELBO: 5324.32
****************************************************************************************************
Validation loss decreased (10718.172852 --> 10648.649414).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 1.93 .. Rec_loss: 11883.63 .. NELBO: 11885.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.48 .. Rec_loss: 5302.28 .. NELBO: 5302.76
****************************************************************************************************
Validation loss decreased (10648.649414 --> 10605.511719).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.9 .. Rec_loss: 11809.63 .. NELBO: 11810.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 5303.87 .. NELBO: 5304.01
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.46 .. Rec_loss: 11780.94 .. NELBO: 11781.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.41 .. Rec_loss: 5323.02 .. NELBO: 5323.43
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.9 .. Rec_loss: 11786.0 .. NELBO: 11786.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.41 .. Rec_loss: 5342.29 .. NELBO: 5342.7
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 1.61 .. Rec_loss: 11791.55 .. NELBO: 11793.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.02 .. Rec_loss: 5344.41 .. NELBO: 5348.43
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 8.55 .. Rec_loss: 11776.88 .. NELBO: 11785.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.94 .. Rec_loss: 5341.87 .. NELBO: 5344.81
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.0330027276630495, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=57, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=57, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=57, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.3 .. Rec_loss: 12263.12 .. NELBO: 12263.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.32 .. Rec_loss: 5441.92 .. NELBO: 5442.24
****************************************************************************************************
Validation loss decreased (inf --> 10884.476562).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.68 .. Rec_loss: 12239.65 .. NELBO: 12241.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5424.82 .. NELBO: 5424.84
****************************************************************************************************
Validation loss decreased (10884.476562 --> 10849.690430).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 12185.33 .. NELBO: 12185.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5396.52 .. NELBO: 5396.6
****************************************************************************************************
Validation loss decreased (10849.690430 --> 10793.193359).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 12100.57 .. NELBO: 12100.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.96 .. Rec_loss: 5360.12 .. NELBO: 5361.08
****************************************************************************************************
Validation loss decreased (10793.193359 --> 10722.166016).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 2.47 .. Rec_loss: 11993.48 .. NELBO: 11995.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.59 .. Rec_loss: 5325.26 .. NELBO: 5325.85
****************************************************************************************************
Validation loss decreased (10722.166016 --> 10651.704102).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.71 .. Rec_loss: 11890.54 .. NELBO: 11891.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.35 .. Rec_loss: 5303.18 .. NELBO: 5303.53
****************************************************************************************************
Validation loss decreased (10651.704102 --> 10607.055664).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.81 .. Rec_loss: 11813.05 .. NELBO: 11813.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 5303.25 .. NELBO: 5303.38
****************************************************************************************************
Validation loss decreased (10607.055664 --> 10606.746094).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.5 .. Rec_loss: 11781.46 .. NELBO: 11781.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 5322.11 .. NELBO: 5322.22
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.3 .. Rec_loss: 11786.0 .. NELBO: 11786.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.31 .. Rec_loss: 5342.15 .. NELBO: 5342.46
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 1.31 .. Rec_loss: 11793.38 .. NELBO: 11794.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.35 .. Rec_loss: 5347.76 .. NELBO: 5350.11
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 4.91 .. Rec_loss: 11782.64 .. NELBO: 11787.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.19 .. Rec_loss: 5342.2 .. NELBO: 5346.39
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 7.77 .. Rec_loss: 11765.22 .. NELBO: 11772.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.56 .. Rec_loss: 5333.0 .. NELBO: 5337.56
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.0330027276630495, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=57, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=57, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=57, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.29 .. Rec_loss: 12263.28 .. NELBO: 12263.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.33 .. Rec_loss: 5442.1 .. NELBO: 5442.43
****************************************************************************************************
Validation loss decreased (inf --> 10884.856445).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 2.05 .. Rec_loss: 12240.02 .. NELBO: 12242.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5424.84 .. NELBO: 5424.87
****************************************************************************************************
Validation loss decreased (10884.856445 --> 10849.743164).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12185.33 .. NELBO: 12185.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5395.96 .. NELBO: 5396.04
****************************************************************************************************
Validation loss decreased (10849.743164 --> 10792.071289).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.36 .. Rec_loss: 12098.51 .. NELBO: 12098.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.84 .. Rec_loss: 5358.9 .. NELBO: 5359.74
****************************************************************************************************
Validation loss decreased (10792.071289 --> 10719.490234).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 2.29 .. Rec_loss: 11989.59 .. NELBO: 11991.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.57 .. Rec_loss: 5323.89 .. NELBO: 5324.46
****************************************************************************************************
Validation loss decreased (10719.490234 --> 10648.904297).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.71 .. Rec_loss: 11886.31 .. NELBO: 11887.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.37 .. Rec_loss: 5302.59 .. NELBO: 5302.96
****************************************************************************************************
Validation loss decreased (10648.904297 --> 10605.909180).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 1.12 .. Rec_loss: 11810.44 .. NELBO: 11811.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 5303.98 .. NELBO: 5304.11
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 11781.55 .. NELBO: 11782.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.28 .. Rec_loss: 5323.52 .. NELBO: 5323.8
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.58 .. Rec_loss: 11786.65 .. NELBO: 11787.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 5343.36 .. NELBO: 5343.58
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.64 .. Rec_loss: 11794.32 .. NELBO: 11794.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.46 .. Rec_loss: 5348.8 .. NELBO: 5350.26
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 4.61 .. Rec_loss: 11782.81 .. NELBO: 11787.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.93 .. Rec_loss: 5343.65 .. NELBO: 5346.58
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  119
model: ETM(
  (t_drop): Dropout(p=0.05178999986071239, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 92.44 .. Rec_loss: 12264.37 .. NELBO: 12356.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.49 .. Rec_loss: 5444.01 .. NELBO: 5452.5
****************************************************************************************************
Validation loss decreased (inf --> 10904.984375).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 9.12 .. Rec_loss: 12248.56 .. NELBO: 12257.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.44 .. Rec_loss: 5431.98 .. NELBO: 5432.42
****************************************************************************************************
Validation loss decreased (10904.984375 --> 10864.842773).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.65 .. Rec_loss: 12208.6 .. NELBO: 12209.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5409.04 .. NELBO: 5409.12
****************************************************************************************************
Validation loss decreased (10864.842773 --> 10818.239258).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 12138.5 .. NELBO: 12138.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5376.45 .. NELBO: 5376.48
****************************************************************************************************
Validation loss decreased (10818.239258 --> 10752.965820).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12042.24 .. NELBO: 12042.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5340.1 .. NELBO: 5340.12
****************************************************************************************************
Validation loss decreased (10752.965820 --> 10680.231445).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11934.59 .. NELBO: 11934.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.62 .. NELBO: 5310.64
****************************************************************************************************
Validation loss decreased (10680.231445 --> 10621.270508).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11841.73 .. NELBO: 11841.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.24 .. NELBO: 5300.26
****************************************************************************************************
Validation loss decreased (10621.270508 --> 10600.518555).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11788.44 .. NELBO: 11788.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.02 .. NELBO: 5313.04
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.44 .. NELBO: 11781.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.32 .. NELBO: 5336.34
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.69 .. NELBO: 11793.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.59 .. NELBO: 5351.61
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.95 .. NELBO: 11795.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.15 .. NELBO: 5353.17
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11783.76 .. NELBO: 11783.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.01 .. NELBO: 5347.03
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05178999986071239, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 77.3 .. Rec_loss: 12264.13 .. NELBO: 12341.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.4 .. Rec_loss: 5443.95 .. NELBO: 5451.35
****************************************************************************************************
Validation loss decreased (inf --> 10902.690430).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.91 .. Rec_loss: 12248.57 .. NELBO: 12256.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.32 .. Rec_loss: 5431.87 .. NELBO: 5432.19
****************************************************************************************************
Validation loss decreased (10902.690430 --> 10864.374023).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.47 .. Rec_loss: 12208.81 .. NELBO: 12209.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5408.8 .. NELBO: 5408.87
****************************************************************************************************
Validation loss decreased (10864.374023 --> 10817.727539).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12138.11 .. NELBO: 12138.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5376.19 .. NELBO: 5376.22
****************************************************************************************************
Validation loss decreased (10817.727539 --> 10752.427734).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12041.99 .. NELBO: 12042.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5339.95 .. NELBO: 5339.97
****************************************************************************************************
Validation loss decreased (10752.427734 --> 10679.932617).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11934.74 .. NELBO: 11934.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.68 .. NELBO: 5310.7
****************************************************************************************************
Validation loss decreased (10679.932617 --> 10621.399414).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11842.2 .. NELBO: 11842.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.38 .. NELBO: 5300.4
****************************************************************************************************
Validation loss decreased (10621.399414 --> 10600.804688).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11789.26 .. NELBO: 11789.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.88 .. NELBO: 5312.9
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.66 .. NELBO: 11781.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.89 .. NELBO: 5335.91
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.13 .. NELBO: 11793.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.21 .. NELBO: 5351.23
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.12 .. NELBO: 11796.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.97 .. NELBO: 5352.99
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11784.29 .. NELBO: 11784.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.0 .. NELBO: 5347.02
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05178999986071239, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 88.72 .. Rec_loss: 12264.19 .. NELBO: 12352.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.93 .. Rec_loss: 5444.18 .. NELBO: 5452.11
****************************************************************************************************
Validation loss decreased (inf --> 10904.221680).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.66 .. Rec_loss: 12248.93 .. NELBO: 12257.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.48 .. Rec_loss: 5432.18 .. NELBO: 5432.66
****************************************************************************************************
Validation loss decreased (10904.221680 --> 10865.315430).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.68 .. Rec_loss: 12209.74 .. NELBO: 12210.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5409.7 .. NELBO: 5409.78
****************************************************************************************************
Validation loss decreased (10865.315430 --> 10819.557617).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12140.68 .. NELBO: 12140.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5377.56 .. NELBO: 5377.59
****************************************************************************************************
Validation loss decreased (10819.557617 --> 10755.167969).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12045.53 .. NELBO: 12045.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5341.34 .. NELBO: 5341.36
****************************************************************************************************
Validation loss decreased (10755.167969 --> 10682.715820).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11938.44 .. NELBO: 11938.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.45 .. NELBO: 5311.47
****************************************************************************************************
Validation loss decreased (10682.715820 --> 10622.944336).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11844.53 .. NELBO: 11844.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.16 .. NELBO: 5300.18
****************************************************************************************************
Validation loss decreased (10622.944336 --> 10600.364258).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11789.69 .. NELBO: 11789.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.05 .. NELBO: 5312.07
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.0 .. NELBO: 11781.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.25 .. NELBO: 5335.27
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.7 .. NELBO: 11792.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.03 .. NELBO: 5351.05
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.65 .. NELBO: 11795.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.13 .. NELBO: 5353.15
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11784.49 .. NELBO: 11784.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.23 .. NELBO: 5347.25
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  120
model: ETM(
  (t_drop): Dropout(p=0.05643717817317235, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=52, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=52, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=52, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 62.89 .. Rec_loss: 12264.11 .. NELBO: 12327.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.73 .. Rec_loss: 5443.89 .. NELBO: 5450.62
****************************************************************************************************
Validation loss decreased (inf --> 10901.248047).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.24 .. Rec_loss: 12248.44 .. NELBO: 12255.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.3 .. Rec_loss: 5432.12 .. NELBO: 5432.42
****************************************************************************************************
Validation loss decreased (10901.248047 --> 10864.847656).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 12209.49 .. NELBO: 12209.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5409.68 .. NELBO: 5409.73
****************************************************************************************************
Validation loss decreased (10864.847656 --> 10819.451172).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 12141.33 .. NELBO: 12141.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5377.56 .. NELBO: 5377.58
****************************************************************************************************
Validation loss decreased (10819.451172 --> 10755.155273).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12045.09 .. NELBO: 12045.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5341.3 .. NELBO: 5341.31
****************************************************************************************************
Validation loss decreased (10755.155273 --> 10682.615234).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11937.7 .. NELBO: 11937.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5311.37 .. NELBO: 5311.38
****************************************************************************************************
Validation loss decreased (10682.615234 --> 10622.759766).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11843.36 .. NELBO: 11843.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.18 .. NELBO: 5300.19
****************************************************************************************************
Validation loss decreased (10622.759766 --> 10600.390625).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11789.23 .. NELBO: 11789.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5312.36 .. NELBO: 5312.37
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11780.3 .. NELBO: 11780.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5335.83 .. NELBO: 5335.84
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11793.51 .. NELBO: 11793.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5351.71 .. NELBO: 5351.72
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.12 .. NELBO: 11796.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.71 .. NELBO: 5353.72
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11785.19 .. NELBO: 11785.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5347.61 .. NELBO: 5347.62
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05643717817317235, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=52, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=52, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=52, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 75.27 .. Rec_loss: 12264.11 .. NELBO: 12339.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.19 .. Rec_loss: 5443.87 .. NELBO: 5451.06
****************************************************************************************************
Validation loss decreased (inf --> 10902.127930).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.74 .. Rec_loss: 12247.63 .. NELBO: 12255.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.41 .. Rec_loss: 5431.34 .. NELBO: 5431.75
****************************************************************************************************
Validation loss decreased (10902.127930 --> 10863.496094).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.59 .. Rec_loss: 12207.25 .. NELBO: 12207.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5408.19 .. NELBO: 5408.26
****************************************************************************************************
Validation loss decreased (10863.496094 --> 10816.537109).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12137.27 .. NELBO: 12137.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5375.44 .. NELBO: 5375.46
****************************************************************************************************
Validation loss decreased (10816.537109 --> 10750.932617).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12039.96 .. NELBO: 12040.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5339.02 .. NELBO: 5339.04
****************************************************************************************************
Validation loss decreased (10750.932617 --> 10678.064453).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11932.0 .. NELBO: 11932.03
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5309.68 .. NELBO: 5309.69
****************************************************************************************************
Validation loss decreased (10678.064453 --> 10619.378906).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11839.02 .. NELBO: 11839.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5299.74 .. NELBO: 5299.75
****************************************************************************************************
Validation loss decreased (10619.378906 --> 10599.515625).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11786.69 .. NELBO: 11786.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5313.09 .. NELBO: 5313.1
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11780.48 .. NELBO: 11780.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.79 .. NELBO: 5336.81
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11793.77 .. NELBO: 11793.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5352.14 .. NELBO: 5352.15
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.39 .. NELBO: 11795.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.62 .. NELBO: 5353.63
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11783.78 .. NELBO: 11783.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5347.42 .. NELBO: 5347.43
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05643717817317235, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=52, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=52, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=52, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 72.62 .. Rec_loss: 12264.12 .. NELBO: 12336.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.27 .. Rec_loss: 5444.0 .. NELBO: 5451.27
****************************************************************************************************
Validation loss decreased (inf --> 10902.553711).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.79 .. Rec_loss: 12249.29 .. NELBO: 12257.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.44 .. Rec_loss: 5433.26 .. NELBO: 5433.7
****************************************************************************************************
Validation loss decreased (10902.553711 --> 10867.396484).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.66 .. Rec_loss: 12213.36 .. NELBO: 12214.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5411.72 .. NELBO: 5411.81
****************************************************************************************************
Validation loss decreased (10867.396484 --> 10823.622070).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 12147.34 .. NELBO: 12147.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5380.38 .. NELBO: 5380.41
****************************************************************************************************
Validation loss decreased (10823.622070 --> 10760.817383).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12053.7 .. NELBO: 12053.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5344.25 .. NELBO: 5344.27
****************************************************************************************************
Validation loss decreased (10760.817383 --> 10688.541016).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11946.42 .. NELBO: 11946.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.34 .. NELBO: 5313.36
****************************************************************************************************
Validation loss decreased (10688.541016 --> 10626.721680).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11849.97 .. NELBO: 11850.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5300.11 .. NELBO: 5300.14
****************************************************************************************************
Validation loss decreased (10626.721680 --> 10600.276367).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11791.75 .. NELBO: 11791.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5310.4 .. NELBO: 5310.43
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 11779.72 .. NELBO: 11779.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5333.64 .. NELBO: 5333.68
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 11792.1 .. NELBO: 11792.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5350.74 .. NELBO: 5350.78
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 11796.48 .. NELBO: 11796.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5353.88 .. NELBO: 5353.91
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11785.47 .. NELBO: 11785.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5348.24 .. NELBO: 5348.26
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  121
model: ETM(
  (t_drop): Dropout(p=0.057212631968940095, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=78, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=78, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=78, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 74.69 .. Rec_loss: 12264.0 .. NELBO: 12338.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.5 .. Rec_loss: 5443.77 .. NELBO: 5451.27
****************************************************************************************************
Validation loss decreased (inf --> 10902.538086).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.12 .. Rec_loss: 12247.23 .. NELBO: 12255.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.35 .. Rec_loss: 5430.78 .. NELBO: 5431.13
****************************************************************************************************
Validation loss decreased (10902.538086 --> 10862.263672).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.5 .. Rec_loss: 12204.46 .. NELBO: 12204.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5406.58 .. NELBO: 5406.64
****************************************************************************************************
Validation loss decreased (10862.263672 --> 10813.270508).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 12130.57 .. NELBO: 12130.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5372.98 .. NELBO: 5373.0
****************************************************************************************************
Validation loss decreased (10813.270508 --> 10746.004883).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12031.44 .. NELBO: 12031.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.59 .. NELBO: 5336.61
****************************************************************************************************
Validation loss decreased (10746.004883 --> 10673.208984).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11923.51 .. NELBO: 11923.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5308.64 .. NELBO: 5308.66
****************************************************************************************************
Validation loss decreased (10673.208984 --> 10617.318359).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11833.8 .. NELBO: 11833.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.94 .. NELBO: 5300.96
****************************************************************************************************
Validation loss decreased (10617.318359 --> 10601.915039).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11786.3 .. NELBO: 11786.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5315.59 .. NELBO: 5315.61
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11782.6 .. NELBO: 11782.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5338.46 .. NELBO: 5338.48
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11794.84 .. NELBO: 11794.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.05 .. NELBO: 5352.07
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.2 .. NELBO: 11795.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.34 .. NELBO: 5352.36
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11782.27 .. NELBO: 11782.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5345.88 .. NELBO: 5345.9
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.057212631968940095, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=78, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=78, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=78, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 85.22 .. Rec_loss: 12264.49 .. NELBO: 12349.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.27 .. Rec_loss: 5444.26 .. NELBO: 5452.53
****************************************************************************************************
Validation loss decreased (inf --> 10905.059570).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 9.05 .. Rec_loss: 12249.31 .. NELBO: 12258.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 5432.73 .. NELBO: 5433.16
****************************************************************************************************
Validation loss decreased (10905.059570 --> 10866.327148).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.61 .. Rec_loss: 12211.18 .. NELBO: 12211.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5410.6 .. NELBO: 5410.66
****************************************************************************************************
Validation loss decreased (10866.327148 --> 10821.323242).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12143.25 .. NELBO: 12143.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5378.61 .. NELBO: 5378.63
****************************************************************************************************
Validation loss decreased (10821.323242 --> 10757.270508).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12048.05 .. NELBO: 12048.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5342.26 .. NELBO: 5342.28
****************************************************************************************************
Validation loss decreased (10757.270508 --> 10684.549805).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11940.19 .. NELBO: 11940.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5312.01 .. NELBO: 5312.02
****************************************************************************************************
Validation loss decreased (10684.549805 --> 10624.040039).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11845.71 .. NELBO: 11845.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.33 .. NELBO: 5300.34
****************************************************************************************************
Validation loss decreased (10624.040039 --> 10600.680664).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11789.39 .. NELBO: 11789.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.08 .. NELBO: 5312.1
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11780.25 .. NELBO: 11780.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.51 .. NELBO: 5335.53
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11792.58 .. NELBO: 11792.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.63 .. NELBO: 5351.65
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.36 .. NELBO: 11796.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.81 .. NELBO: 5353.83
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11784.94 .. NELBO: 11784.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5347.8 .. NELBO: 5347.81
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.057212631968940095, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=78, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=78, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=78, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 89.43 .. Rec_loss: 12264.26 .. NELBO: 12353.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.18 .. Rec_loss: 5444.25 .. NELBO: 5452.43
****************************************************************************************************
Validation loss decreased (inf --> 10904.863281).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.83 .. Rec_loss: 12249.63 .. NELBO: 12258.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 5433.14 .. NELBO: 5433.57
****************************************************************************************************
Validation loss decreased (10904.863281 --> 10867.126953).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.6 .. Rec_loss: 12212.68 .. NELBO: 12213.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5411.43 .. NELBO: 5411.5
****************************************************************************************************
Validation loss decreased (10867.126953 --> 10822.995117).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12146.08 .. NELBO: 12146.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5379.98 .. NELBO: 5380.0
****************************************************************************************************
Validation loss decreased (10822.995117 --> 10759.998047).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12052.0 .. NELBO: 12052.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5343.93 .. NELBO: 5343.95
****************************************************************************************************
Validation loss decreased (10759.998047 --> 10687.905273).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11945.58 .. NELBO: 11945.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.31 .. NELBO: 5313.33
****************************************************************************************************
Validation loss decreased (10687.905273 --> 10626.653320).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11849.69 .. NELBO: 11849.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.43 .. NELBO: 5300.45
****************************************************************************************************
Validation loss decreased (10626.653320 --> 10600.894531).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11791.24 .. NELBO: 11791.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.87 .. NELBO: 5310.89
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11779.76 .. NELBO: 11779.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5334.01 .. NELBO: 5334.03
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.04 .. NELBO: 11792.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.83 .. NELBO: 5350.85
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.18 .. NELBO: 11796.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.82 .. NELBO: 5353.84
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11786.34 .. NELBO: 11786.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5348.16 .. NELBO: 5348.18
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  122
model: ETM(
  (t_drop): Dropout(p=0.05607414825152611, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=97, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=97, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=97, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 982.04 .. Rec_loss: 12264.3 .. NELBO: 13246.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 18.68 .. Rec_loss: 5445.52 .. NELBO: 5464.2
****************************************************************************************************
Validation loss decreased (inf --> 10928.387695).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 20.13 .. Rec_loss: 12253.64 .. NELBO: 12273.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.96 .. Rec_loss: 5436.49 .. NELBO: 5437.45
****************************************************************************************************
Validation loss decreased (10928.387695 --> 10874.890625).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 1.65 .. Rec_loss: 12223.8 .. NELBO: 12225.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 5418.48 .. NELBO: 5418.91
****************************************************************************************************
Validation loss decreased (10874.890625 --> 10837.820312).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.73 .. Rec_loss: 12166.92 .. NELBO: 12167.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.15 .. Rec_loss: 5390.45 .. NELBO: 5390.6
****************************************************************************************************
Validation loss decreased (10837.820312 --> 10781.210938).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.25 .. Rec_loss: 12082.21 .. NELBO: 12082.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5355.57 .. NELBO: 5355.64
****************************************************************************************************
Validation loss decreased (10781.210938 --> 10711.285156).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 11978.27 .. NELBO: 11978.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5321.95 .. NELBO: 5322.04
****************************************************************************************************
Validation loss decreased (10711.285156 --> 10644.090820).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.25 .. Rec_loss: 11875.45 .. NELBO: 11875.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 5301.85 .. NELBO: 5302.07
****************************************************************************************************
Validation loss decreased (10644.090820 --> 10604.137695).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 11802.21 .. NELBO: 11802.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 5304.92 .. NELBO: 5305.02
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.15 .. Rec_loss: 11777.11 .. NELBO: 11777.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5326.36 .. NELBO: 5326.39
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11786.15 .. NELBO: 11786.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5347.75 .. NELBO: 5347.78
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11796.97 .. NELBO: 11797.03
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5355.74 .. NELBO: 5355.77
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11792.06 .. NELBO: 11792.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5352.06 .. NELBO: 5352.09
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05607414825152611, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=97, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=97, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=97, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1042.09 .. Rec_loss: 12264.89 .. NELBO: 13306.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 21.25 .. Rec_loss: 5445.99 .. NELBO: 5467.24
****************************************************************************************************
Validation loss decreased (inf --> 10934.490234).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 24.27 .. Rec_loss: 12255.22 .. NELBO: 12279.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.07 .. Rec_loss: 5437.76 .. NELBO: 5440.83
****************************************************************************************************
Validation loss decreased (10934.490234 --> 10881.664062).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 6.2 .. Rec_loss: 12228.33 .. NELBO: 12234.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.2 .. Rec_loss: 5421.38 .. NELBO: 5423.58
****************************************************************************************************
Validation loss decreased (10881.664062 --> 10847.152344).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 4.02 .. Rec_loss: 12176.17 .. NELBO: 12180.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.12 .. Rec_loss: 5395.21 .. NELBO: 5396.33
****************************************************************************************************
Validation loss decreased (10847.152344 --> 10792.664062).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 1.96 .. Rec_loss: 12096.58 .. NELBO: 12098.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.44 .. Rec_loss: 5361.57 .. NELBO: 5362.01
****************************************************************************************************
Validation loss decreased (10792.664062 --> 10724.025391).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.74 .. Rec_loss: 11995.86 .. NELBO: 11996.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.16 .. Rec_loss: 5327.49 .. NELBO: 5327.65
****************************************************************************************************
Validation loss decreased (10724.025391 --> 10655.288086).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.27 .. Rec_loss: 11892.53 .. NELBO: 11892.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5304.33 .. NELBO: 5304.39
****************************************************************************************************
Validation loss decreased (10655.288086 --> 10608.786133).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 11813.16 .. NELBO: 11813.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5302.72 .. NELBO: 5302.75
****************************************************************************************************
Validation loss decreased (10608.786133 --> 10605.509766).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 11778.1 .. NELBO: 11778.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5321.6 .. NELBO: 5321.63
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11783.32 .. NELBO: 11783.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5344.28 .. NELBO: 5344.31
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11796.09 .. NELBO: 11796.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5355.05 .. NELBO: 5355.08
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11793.81 .. NELBO: 11793.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5353.11 .. NELBO: 5353.14
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11779.48 .. NELBO: 11779.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5345.84 .. NELBO: 5345.87
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05607414825152611, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=97, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=97, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=97, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1416.33 .. Rec_loss: 12264.08 .. NELBO: 13680.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 23.91 .. Rec_loss: 5445.21 .. NELBO: 5469.12
****************************************************************************************************
Validation loss decreased (inf --> 10938.231445).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 28.4 .. Rec_loss: 12252.69 .. NELBO: 12281.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.53 .. Rec_loss: 5436.08 .. NELBO: 5440.61
****************************************************************************************************
Validation loss decreased (10938.231445 --> 10881.229492).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 8.79 .. Rec_loss: 12222.74 .. NELBO: 12231.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.13 .. Rec_loss: 5418.19 .. NELBO: 5421.32
****************************************************************************************************
Validation loss decreased (10881.229492 --> 10842.636719).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 5.6 .. Rec_loss: 12166.33 .. NELBO: 12171.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.81 .. Rec_loss: 5390.61 .. NELBO: 5392.42
****************************************************************************************************
Validation loss decreased (10842.636719 --> 10784.854492).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 3.46 .. Rec_loss: 12082.71 .. NELBO: 12086.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.18 .. Rec_loss: 5356.34 .. NELBO: 5357.52
****************************************************************************************************
Validation loss decreased (10784.854492 --> 10715.045898).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 2.27 .. Rec_loss: 11980.18 .. NELBO: 11982.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.79 .. Rec_loss: 5323.02 .. NELBO: 5323.81
****************************************************************************************************
Validation loss decreased (10715.045898 --> 10647.629883).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 1.56 .. Rec_loss: 11878.23 .. NELBO: 11879.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.55 .. Rec_loss: 5302.44 .. NELBO: 5302.99
****************************************************************************************************
Validation loss decreased (10647.629883 --> 10605.979492).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 1.0 .. Rec_loss: 11804.27 .. NELBO: 11805.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.26 .. Rec_loss: 5304.16 .. NELBO: 5304.42
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.48 .. Rec_loss: 11776.63 .. NELBO: 11777.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 5324.66 .. NELBO: 5324.8
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.25 .. Rec_loss: 11784.6 .. NELBO: 11784.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5346.3 .. NELBO: 5346.37
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 11796.03 .. NELBO: 11796.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5355.06 .. NELBO: 5355.1
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 11791.95 .. NELBO: 11792.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5351.93 .. NELBO: 5351.96
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  123
model: ETM(
  (t_drop): Dropout(p=0.05697658493216787, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=51, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=51, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=51, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.3 .. Rec_loss: 12263.46 .. NELBO: 12263.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.32 .. Rec_loss: 5442.27 .. NELBO: 5442.59
****************************************************************************************************
Validation loss decreased (inf --> 10885.183594).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.93 .. Rec_loss: 12241.07 .. NELBO: 12243.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5425.4 .. NELBO: 5425.42
****************************************************************************************************
Validation loss decreased (10885.183594 --> 10850.844727).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 12187.27 .. NELBO: 12187.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.19 .. Rec_loss: 5396.84 .. NELBO: 5397.03
****************************************************************************************************
Validation loss decreased (10850.844727 --> 10794.070312).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.89 .. Rec_loss: 12101.81 .. NELBO: 12102.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.29 .. Rec_loss: 5360.13 .. NELBO: 5361.42
****************************************************************************************************
Validation loss decreased (10794.070312 --> 10722.845703).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 2.14 .. Rec_loss: 11994.42 .. NELBO: 11996.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.19 .. Rec_loss: 5325.32 .. NELBO: 5325.51
****************************************************************************************************
Validation loss decreased (10722.845703 --> 10651.018555).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.85 .. Rec_loss: 11890.56 .. NELBO: 11891.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.4 .. Rec_loss: 5302.83 .. NELBO: 5303.23
****************************************************************************************************
Validation loss decreased (10651.018555 --> 10606.474609).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.83 .. Rec_loss: 11813.35 .. NELBO: 11814.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.19 .. Rec_loss: 5303.08 .. NELBO: 5303.27
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 11781.84 .. NELBO: 11782.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.23 .. Rec_loss: 5322.02 .. NELBO: 5322.25
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.6 .. Rec_loss: 11785.27 .. NELBO: 11785.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.5 .. Rec_loss: 5342.15 .. NELBO: 5342.65
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 1.63 .. Rec_loss: 11792.77 .. NELBO: 11794.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.19 .. Rec_loss: 5349.02 .. NELBO: 5350.21
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 4.74 .. Rec_loss: 11783.39 .. NELBO: 11788.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.81 .. Rec_loss: 5343.06 .. NELBO: 5345.87
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05697658493216787, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=51, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=51, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=51, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.27 .. Rec_loss: 12263.22 .. NELBO: 12263.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.28 .. Rec_loss: 5442.2 .. NELBO: 5442.48
****************************************************************************************************
Validation loss decreased (inf --> 10884.953125).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.7 .. Rec_loss: 12239.89 .. NELBO: 12241.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5425.15 .. NELBO: 5425.19
****************************************************************************************************
Validation loss decreased (10884.953125 --> 10850.393555).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 12186.22 .. NELBO: 12186.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5396.64 .. NELBO: 5396.69
****************************************************************************************************
Validation loss decreased (10850.393555 --> 10793.379883).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.26 .. Rec_loss: 12100.2 .. NELBO: 12100.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.89 .. Rec_loss: 5359.65 .. NELBO: 5360.54
****************************************************************************************************
Validation loss decreased (10793.379883 --> 10721.074219).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 3.21 .. Rec_loss: 11990.34 .. NELBO: 11993.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.45 .. Rec_loss: 5324.03 .. NELBO: 5326.48
****************************************************************************************************
Validation loss decreased (10721.074219 --> 10652.946289).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 3.62 .. Rec_loss: 11886.31 .. NELBO: 11889.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.29 .. Rec_loss: 5303.02 .. NELBO: 5303.31
****************************************************************************************************
Validation loss decreased (10652.946289 --> 10606.620117).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.68 .. Rec_loss: 11812.54 .. NELBO: 11813.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5303.42 .. NELBO: 5303.5
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.61 .. Rec_loss: 11781.24 .. NELBO: 11781.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 5322.95 .. NELBO: 5323.06
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.47 .. Rec_loss: 11786.25 .. NELBO: 11786.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5343.05 .. NELBO: 5343.11
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.34 .. Rec_loss: 11794.45 .. NELBO: 11794.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.42 .. Rec_loss: 5349.91 .. NELBO: 5350.33
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 1.4 .. Rec_loss: 11786.92 .. NELBO: 11788.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.19 .. Rec_loss: 5345.2 .. NELBO: 5346.39
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05697658493216787, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=51, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=51, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=51, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 12263.27 .. NELBO: 12263.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.46 .. Rec_loss: 5442.21 .. NELBO: 5442.67
****************************************************************************************************
Validation loss decreased (inf --> 10885.342773).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.44 .. Rec_loss: 12240.45 .. NELBO: 12241.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5425.38 .. NELBO: 5425.4
****************************************************************************************************
Validation loss decreased (10885.342773 --> 10850.811523).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 12187.4 .. NELBO: 12187.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.15 .. Rec_loss: 5396.98 .. NELBO: 5397.13
****************************************************************************************************
Validation loss decreased (10850.811523 --> 10794.260742).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.63 .. Rec_loss: 12100.97 .. NELBO: 12101.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.57 .. Rec_loss: 5360.0 .. NELBO: 5361.57
****************************************************************************************************
Validation loss decreased (10794.260742 --> 10723.155273).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 4.34 .. Rec_loss: 11991.39 .. NELBO: 11995.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.6 .. Rec_loss: 5325.1 .. NELBO: 5326.7
****************************************************************************************************
Validation loss decreased (10723.155273 --> 10653.384766).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 2.13 .. Rec_loss: 11889.47 .. NELBO: 11891.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 5303.39 .. NELBO: 5303.82
****************************************************************************************************
Validation loss decreased (10653.384766 --> 10607.635742).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.93 .. Rec_loss: 11813.71 .. NELBO: 11814.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.15 .. Rec_loss: 5302.93 .. NELBO: 5303.08
****************************************************************************************************
Validation loss decreased (10607.635742 --> 10606.154297).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.72 .. Rec_loss: 11781.08 .. NELBO: 11781.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.16 .. Rec_loss: 5321.51 .. NELBO: 5321.67
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.49 .. Rec_loss: 11784.74 .. NELBO: 11785.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.47 .. Rec_loss: 5341.11 .. NELBO: 5341.58
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 1.33 .. Rec_loss: 11792.05 .. NELBO: 11793.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.94 .. Rec_loss: 5348.25 .. NELBO: 5349.19
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 2.89 .. Rec_loss: 11784.2 .. NELBO: 11787.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.61 .. Rec_loss: 5341.16 .. NELBO: 5344.77
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 6.41 .. Rec_loss: 11766.7 .. NELBO: 11773.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.27 .. Rec_loss: 5336.47 .. NELBO: 5338.74
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  124
model: ETM(
  (t_drop): Dropout(p=0.06232375925801559, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=68, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=68, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=68, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 91.23 .. Rec_loss: 12264.06 .. NELBO: 12355.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.42 .. Rec_loss: 5443.94 .. NELBO: 5452.36
****************************************************************************************************
Validation loss decreased (inf --> 10904.717773).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 9.07 .. Rec_loss: 12248.35 .. NELBO: 12257.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.52 .. Rec_loss: 5432.04 .. NELBO: 5432.56
****************************************************************************************************
Validation loss decreased (10904.717773 --> 10865.135742).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.75 .. Rec_loss: 12209.73 .. NELBO: 12210.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5409.36 .. NELBO: 5409.45
****************************************************************************************************
Validation loss decreased (10865.135742 --> 10818.902344).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 12140.15 .. NELBO: 12140.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5377.0 .. NELBO: 5377.03
****************************************************************************************************
Validation loss decreased (10818.902344 --> 10754.061523).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12044.82 .. NELBO: 12044.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5340.66 .. NELBO: 5340.68
****************************************************************************************************
Validation loss decreased (10754.061523 --> 10681.351562).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11936.76 .. NELBO: 11936.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.85 .. NELBO: 5310.87
****************************************************************************************************
Validation loss decreased (10681.351562 --> 10621.725586).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11842.73 .. NELBO: 11842.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5299.88 .. NELBO: 5299.9
****************************************************************************************************
Validation loss decreased (10621.725586 --> 10599.792969).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11789.16 .. NELBO: 11789.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.13 .. NELBO: 5312.15
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11780.73 .. NELBO: 11780.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.54 .. NELBO: 5335.56
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11793.1 .. NELBO: 11793.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.41 .. NELBO: 5351.43
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.32 .. NELBO: 11796.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.46 .. NELBO: 5353.48
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11784.2 .. NELBO: 11784.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5347.47 .. NELBO: 5347.48
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06232375925801559, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=68, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=68, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=68, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 75.63 .. Rec_loss: 12264.41 .. NELBO: 12340.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.28 .. Rec_loss: 5444.14 .. NELBO: 5451.42
****************************************************************************************************
Validation loss decreased (inf --> 10902.841797).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.87 .. Rec_loss: 12248.89 .. NELBO: 12256.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.36 .. Rec_loss: 5432.09 .. NELBO: 5432.45
****************************************************************************************************
Validation loss decreased (10902.841797 --> 10864.898438).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.51 .. Rec_loss: 12209.53 .. NELBO: 12210.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5408.92 .. NELBO: 5408.98
****************************************************************************************************
Validation loss decreased (10864.898438 --> 10817.970703).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 12138.54 .. NELBO: 12138.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5375.96 .. NELBO: 5375.98
****************************************************************************************************
Validation loss decreased (10817.970703 --> 10751.958008).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12041.13 .. NELBO: 12041.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5339.29 .. NELBO: 5339.31
****************************************************************************************************
Validation loss decreased (10751.958008 --> 10678.615234).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11932.97 .. NELBO: 11933.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5309.91 .. NELBO: 5309.93
****************************************************************************************************
Validation loss decreased (10678.615234 --> 10619.846680).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11839.68 .. NELBO: 11839.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.15 .. NELBO: 5300.17
****************************************************************************************************
Validation loss decreased (10619.846680 --> 10600.336914).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11788.44 .. NELBO: 11788.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.63 .. NELBO: 5313.65
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.83 .. NELBO: 11781.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.13 .. NELBO: 5337.15
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11794.32 .. NELBO: 11794.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.02 .. NELBO: 5352.04
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.95 .. NELBO: 11795.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.19 .. NELBO: 5353.21
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11783.41 .. NELBO: 11783.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.91 .. NELBO: 5346.93
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06232375925801559, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=68, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=68, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=68, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 74.48 .. Rec_loss: 12264.01 .. NELBO: 12338.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.16 .. Rec_loss: 5443.91 .. NELBO: 5451.07
****************************************************************************************************
Validation loss decreased (inf --> 10902.147461).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.71 .. Rec_loss: 12248.38 .. NELBO: 12256.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.36 .. Rec_loss: 5432.02 .. NELBO: 5432.38
****************************************************************************************************
Validation loss decreased (10902.147461 --> 10864.763672).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.51 .. Rec_loss: 12209.11 .. NELBO: 12209.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5409.19 .. NELBO: 5409.25
****************************************************************************************************
Validation loss decreased (10864.763672 --> 10818.492188).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 12139.35 .. NELBO: 12139.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5376.77 .. NELBO: 5376.79
****************************************************************************************************
Validation loss decreased (10818.492188 --> 10753.590820).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12043.4 .. NELBO: 12043.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5340.56 .. NELBO: 5340.58
****************************************************************************************************
Validation loss decreased (10753.590820 --> 10681.157227).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11936.06 .. NELBO: 11936.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.07 .. NELBO: 5311.09
****************************************************************************************************
Validation loss decreased (10681.157227 --> 10622.181641).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11842.79 .. NELBO: 11842.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.37 .. NELBO: 5300.39
****************************************************************************************************
Validation loss decreased (10622.181641 --> 10600.765625).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11789.26 .. NELBO: 11789.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.58 .. NELBO: 5312.6
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.04 .. NELBO: 11781.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.68 .. NELBO: 5335.7
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11793.24 .. NELBO: 11793.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.26 .. NELBO: 5351.28
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.55 .. NELBO: 11796.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.12 .. NELBO: 5353.14
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11784.69 .. NELBO: 11784.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.09 .. NELBO: 5347.11
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  125
model: ETM(
  (t_drop): Dropout(p=0.05817788299393601, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=69, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=69, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=69, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 87.31 .. Rec_loss: 12264.22 .. NELBO: 12351.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.57 .. Rec_loss: 5443.81 .. NELBO: 5451.38
****************************************************************************************************
Validation loss decreased (inf --> 10902.757812).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.22 .. Rec_loss: 12248.04 .. NELBO: 12256.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.44 .. Rec_loss: 5431.6 .. NELBO: 5432.04
****************************************************************************************************
Validation loss decreased (10902.757812 --> 10864.083008).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.63 .. Rec_loss: 12208.05 .. NELBO: 12208.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5408.34 .. NELBO: 5408.41
****************************************************************************************************
Validation loss decreased (10864.083008 --> 10816.828125).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12136.6 .. NELBO: 12136.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5375.43 .. NELBO: 5375.45
****************************************************************************************************
Validation loss decreased (10816.828125 --> 10750.912109).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12040.35 .. NELBO: 12040.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5338.94 .. NELBO: 5338.96
****************************************************************************************************
Validation loss decreased (10750.912109 --> 10677.910156).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11932.18 .. NELBO: 11932.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5309.74 .. NELBO: 5309.76
****************************************************************************************************
Validation loss decreased (10677.910156 --> 10619.509766).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11839.14 .. NELBO: 11839.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.07 .. NELBO: 5300.09
****************************************************************************************************
Validation loss decreased (10619.509766 --> 10600.180664).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11787.79 .. NELBO: 11787.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.47 .. NELBO: 5313.49
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.64 .. NELBO: 11781.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.86 .. NELBO: 5336.88
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11793.85 .. NELBO: 11793.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.82 .. NELBO: 5351.84
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.63 .. NELBO: 11795.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.13 .. NELBO: 5353.15
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11783.66 .. NELBO: 11783.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.95 .. NELBO: 5346.97
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05817788299393601, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=69, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=69, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=69, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 82.33 .. Rec_loss: 12264.14 .. NELBO: 12346.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.78 .. Rec_loss: 5443.89 .. NELBO: 5451.67
****************************************************************************************************
Validation loss decreased (inf --> 10903.345703).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.43 .. Rec_loss: 12248.03 .. NELBO: 12256.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.41 .. Rec_loss: 5431.71 .. NELBO: 5432.12
****************************************************************************************************
Validation loss decreased (10903.345703 --> 10864.249023).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.58 .. Rec_loss: 12208.06 .. NELBO: 12208.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5408.25 .. NELBO: 5408.32
****************************************************************************************************
Validation loss decreased (10864.249023 --> 10816.639648).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12135.59 .. NELBO: 12135.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5375.28 .. NELBO: 5375.3
****************************************************************************************************
Validation loss decreased (10816.639648 --> 10750.595703).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12038.34 .. NELBO: 12038.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5338.99 .. NELBO: 5339.01
****************************************************************************************************
Validation loss decreased (10750.595703 --> 10678.006836).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11930.07 .. NELBO: 11930.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.2 .. NELBO: 5310.22
****************************************************************************************************
Validation loss decreased (10678.006836 --> 10620.435547).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11838.8 .. NELBO: 11838.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.86 .. NELBO: 5300.88
****************************************************************************************************
Validation loss decreased (10620.435547 --> 10601.758789).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11788.46 .. NELBO: 11788.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5314.15 .. NELBO: 5314.17
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11782.24 .. NELBO: 11782.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.02 .. NELBO: 5337.04
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11794.53 .. NELBO: 11794.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.54 .. NELBO: 5351.56
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.96 .. NELBO: 11795.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.62 .. NELBO: 5352.64
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11783.48 .. NELBO: 11783.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.4 .. NELBO: 5346.42
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05817788299393601, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=69, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=69, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=69, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 85.77 .. Rec_loss: 12263.58 .. NELBO: 12349.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.33 .. Rec_loss: 5443.31 .. NELBO: 5451.64
****************************************************************************************************
Validation loss decreased (inf --> 10903.288086).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.92 .. Rec_loss: 12245.89 .. NELBO: 12254.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.44 .. Rec_loss: 5430.32 .. NELBO: 5430.76
****************************************************************************************************
Validation loss decreased (10903.288086 --> 10861.522461).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.63 .. Rec_loss: 12203.02 .. NELBO: 12203.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5405.94 .. NELBO: 5406.01
****************************************************************************************************
Validation loss decreased (10861.522461 --> 10812.012695).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12128.9 .. NELBO: 12129.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5372.1 .. NELBO: 5372.12
****************************************************************************************************
Validation loss decreased (10812.012695 --> 10744.249023).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12028.51 .. NELBO: 12028.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5335.55 .. NELBO: 5335.56
****************************************************************************************************
Validation loss decreased (10744.249023 --> 10671.125977).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11919.81 .. NELBO: 11919.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5307.78 .. NELBO: 5307.79
****************************************************************************************************
Validation loss decreased (10671.125977 --> 10615.578125).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11830.62 .. NELBO: 11830.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.74 .. NELBO: 5300.75
****************************************************************************************************
Validation loss decreased (10615.578125 --> 10601.504883).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11784.48 .. NELBO: 11784.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5316.33 .. NELBO: 5316.34
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11782.53 .. NELBO: 11782.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5339.69 .. NELBO: 5339.7
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.46 .. NELBO: 11795.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.02 .. NELBO: 5353.03
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.01 .. NELBO: 11795.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5352.89 .. NELBO: 5352.9
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11782.06 .. NELBO: 11782.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5346.16 .. NELBO: 5346.17
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  126
model: ETM(
  (t_drop): Dropout(p=0.06086875733605315, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=60, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=60, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=60, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1159.13 .. Rec_loss: 12264.04 .. NELBO: 13423.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 27.33 .. Rec_loss: 5445.17 .. NELBO: 5472.5
****************************************************************************************************
Validation loss decreased (inf --> 10944.997070).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 35.27 .. Rec_loss: 12252.41 .. NELBO: 12287.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 12.57 .. Rec_loss: 5435.41 .. NELBO: 5447.98
****************************************************************************************************
Validation loss decreased (10944.997070 --> 10895.953125).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 28.52 .. Rec_loss: 12221.71 .. NELBO: 12250.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 13.86 .. Rec_loss: 5417.6 .. NELBO: 5431.46
****************************************************************************************************
Validation loss decreased (10895.953125 --> 10862.909180).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 26.0 .. Rec_loss: 12165.93 .. NELBO: 12191.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.45 .. Rec_loss: 5390.43 .. NELBO: 5398.88
****************************************************************************************************
Validation loss decreased (10862.909180 --> 10797.750000).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 15.37 .. Rec_loss: 12083.79 .. NELBO: 12099.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.88 .. Rec_loss: 5356.65 .. NELBO: 5361.53
****************************************************************************************************
Validation loss decreased (10797.750000 --> 10723.056641).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 9.05 .. Rec_loss: 11982.74 .. NELBO: 11991.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.05 .. Rec_loss: 5323.67 .. NELBO: 5326.72
****************************************************************************************************
Validation loss decreased (10723.056641 --> 10653.440430).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 5.64 .. Rec_loss: 11881.71 .. NELBO: 11887.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.07 .. Rec_loss: 5302.9 .. NELBO: 5304.97
****************************************************************************************************
Validation loss decreased (10653.440430 --> 10609.927734).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 3.91 .. Rec_loss: 11807.24 .. NELBO: 11811.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.44 .. Rec_loss: 5303.96 .. NELBO: 5305.4
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 2.72 .. Rec_loss: 11777.84 .. NELBO: 11780.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.96 .. Rec_loss: 5323.8 .. NELBO: 5324.76
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 1.84 .. Rec_loss: 11785.1 .. NELBO: 11786.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.61 .. Rec_loss: 5344.99 .. NELBO: 5345.6
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 1.11 .. Rec_loss: 11795.87 .. NELBO: 11796.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.36 .. Rec_loss: 5353.66 .. NELBO: 5354.02
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.66 .. Rec_loss: 11791.6 .. NELBO: 11792.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.2 .. Rec_loss: 5350.61 .. NELBO: 5350.81
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06086875733605315, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=60, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=60, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=60, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 912.0 .. Rec_loss: 12264.82 .. NELBO: 13176.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 25.01 .. Rec_loss: 5445.59 .. NELBO: 5470.6
****************************************************************************************************
Validation loss decreased (inf --> 10941.209961).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 31.0 .. Rec_loss: 12254.09 .. NELBO: 12285.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.62 .. Rec_loss: 5436.92 .. NELBO: 5445.54
****************************************************************************************************
Validation loss decreased (10941.209961 --> 10891.071289).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 18.45 .. Rec_loss: 12226.28 .. NELBO: 12244.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.64 .. Rec_loss: 5420.06 .. NELBO: 5427.7
****************************************************************************************************
Validation loss decreased (10891.071289 --> 10855.409180).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 14.21 .. Rec_loss: 12173.32 .. NELBO: 12187.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.79 .. Rec_loss: 5393.88 .. NELBO: 5398.67
****************************************************************************************************
Validation loss decreased (10855.409180 --> 10797.335938).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 8.91 .. Rec_loss: 12093.31 .. NELBO: 12102.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.83 .. Rec_loss: 5360.6 .. NELBO: 5363.43
****************************************************************************************************
Validation loss decreased (10797.335938 --> 10726.858398).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 5.29 .. Rec_loss: 11994.43 .. NELBO: 11999.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.76 .. Rec_loss: 5327.0 .. NELBO: 5328.76
****************************************************************************************************
Validation loss decreased (10726.858398 --> 10657.504883).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 3.39 .. Rec_loss: 11892.52 .. NELBO: 11895.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.13 .. Rec_loss: 5304.06 .. NELBO: 5305.19
****************************************************************************************************
Validation loss decreased (10657.504883 --> 10610.379883).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 2.17 .. Rec_loss: 11813.53 .. NELBO: 11815.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.74 .. Rec_loss: 5302.12 .. NELBO: 5302.86
****************************************************************************************************
Validation loss decreased (10610.379883 --> 10605.728516).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 1.41 .. Rec_loss: 11778.58 .. NELBO: 11779.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.47 .. Rec_loss: 5320.39 .. NELBO: 5320.86
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.93 .. Rec_loss: 11782.24 .. NELBO: 11783.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.29 .. Rec_loss: 5342.76 .. NELBO: 5343.05
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.57 .. Rec_loss: 11794.95 .. NELBO: 11795.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.19 .. Rec_loss: 5353.64 .. NELBO: 5353.83
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.37 .. Rec_loss: 11792.44 .. NELBO: 11792.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 5351.91 .. NELBO: 5352.04
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.24 .. Rec_loss: 11778.91 .. NELBO: 11779.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5344.79 .. NELBO: 5344.87
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06086875733605315, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=60, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=60, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=60, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1135.82 .. Rec_loss: 12264.66 .. NELBO: 13400.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 33.65 .. Rec_loss: 5445.74 .. NELBO: 5479.39
****************************************************************************************************
Validation loss decreased (inf --> 10958.779297).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 48.5 .. Rec_loss: 12254.46 .. NELBO: 12302.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 25.12 .. Rec_loss: 5437.48 .. NELBO: 5462.6
****************************************************************************************************
Validation loss decreased (10958.779297 --> 10925.189453).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 55.93 .. Rec_loss: 12228.11 .. NELBO: 12284.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 26.29 .. Rec_loss: 5422.32 .. NELBO: 5448.61
****************************************************************************************************
Validation loss decreased (10925.189453 --> 10897.203125).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 49.68 .. Rec_loss: 12180.47 .. NELBO: 12230.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 18.19 .. Rec_loss: 5398.11 .. NELBO: 5416.3
****************************************************************************************************
Validation loss decreased (10897.203125 --> 10832.613281).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 37.39 .. Rec_loss: 12106.0 .. NELBO: 12143.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 16.97 .. Rec_loss: 5366.07 .. NELBO: 5383.04
****************************************************************************************************
Validation loss decreased (10832.613281 --> 10766.083008).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 35.13 .. Rec_loss: 12008.87 .. NELBO: 12044.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 15.81 .. Rec_loss: 5332.15 .. NELBO: 5347.96
****************************************************************************************************
Validation loss decreased (10766.083008 --> 10695.922852).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 31.56 .. Rec_loss: 11906.12 .. NELBO: 11937.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 14.06 .. Rec_loss: 5306.99 .. NELBO: 5321.05
****************************************************************************************************
Validation loss decreased (10695.922852 --> 10642.091797).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 28.35 .. Rec_loss: 11822.27 .. NELBO: 11850.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 11.14 .. Rec_loss: 5301.03 .. NELBO: 5312.17
****************************************************************************************************
Validation loss decreased (10642.091797 --> 10624.335938).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 21.56 .. Rec_loss: 11780.81 .. NELBO: 11802.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.04 .. Rec_loss: 5314.55 .. NELBO: 5321.59
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 14.25 .. Rec_loss: 11777.75 .. NELBO: 11792.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 5.37 .. Rec_loss: 5334.22 .. NELBO: 5339.59
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 12.4 .. Rec_loss: 11786.17 .. NELBO: 11798.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 5.91 .. Rec_loss: 5345.64 .. NELBO: 5351.55
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 13.7 .. Rec_loss: 11784.63 .. NELBO: 11798.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.23 .. Rec_loss: 5344.99 .. NELBO: 5351.22
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 13.76 .. Rec_loss: 11772.91 .. NELBO: 11786.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 5.75 .. Rec_loss: 5338.98 .. NELBO: 5344.73
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  127
model: ETM(
  (t_drop): Dropout(p=0.06302714138636975, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=56, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=56, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=56, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 68.37 .. Rec_loss: 12264.29 .. NELBO: 12332.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.31 .. Rec_loss: 5444.06 .. NELBO: 5451.37
****************************************************************************************************
Validation loss decreased (inf --> 10902.755859).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.0 .. Rec_loss: 12249.03 .. NELBO: 12257.03
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.37 .. Rec_loss: 5432.69 .. NELBO: 5433.06
****************************************************************************************************
Validation loss decreased (10902.755859 --> 10866.116211).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.52 .. Rec_loss: 12211.56 .. NELBO: 12212.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5410.58 .. NELBO: 5410.64
****************************************************************************************************
Validation loss decreased (10866.116211 --> 10821.289062).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 12143.55 .. NELBO: 12143.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5378.73 .. NELBO: 5378.75
****************************************************************************************************
Validation loss decreased (10821.289062 --> 10757.501953).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12048.77 .. NELBO: 12048.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5342.49 .. NELBO: 5342.5
****************************************************************************************************
Validation loss decreased (10757.501953 --> 10685.002930).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11941.79 .. NELBO: 11941.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5312.12 .. NELBO: 5312.13
****************************************************************************************************
Validation loss decreased (10685.002930 --> 10624.268555).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11846.12 .. NELBO: 11846.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.01 .. NELBO: 5300.02
****************************************************************************************************
Validation loss decreased (10624.268555 --> 10600.045898).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11790.11 .. NELBO: 11790.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5311.27 .. NELBO: 5311.28
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11779.89 .. NELBO: 11779.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5334.67 .. NELBO: 5334.68
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11792.58 .. NELBO: 11792.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5351.29 .. NELBO: 5351.3
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11796.73 .. NELBO: 11796.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.93 .. NELBO: 5353.94
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11785.63 .. NELBO: 11785.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5348.09 .. NELBO: 5348.1
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06302714138636975, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=56, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=56, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=56, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 71.2 .. Rec_loss: 12263.66 .. NELBO: 12334.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.63 .. Rec_loss: 5443.15 .. NELBO: 5450.78
****************************************************************************************************
Validation loss decreased (inf --> 10901.558594).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.15 .. Rec_loss: 12246.39 .. NELBO: 12254.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.36 .. Rec_loss: 5431.16 .. NELBO: 5431.52
****************************************************************************************************
Validation loss decreased (10901.558594 --> 10863.049805).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.52 .. Rec_loss: 12206.44 .. NELBO: 12206.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5408.28 .. NELBO: 5408.34
****************************************************************************************************
Validation loss decreased (10863.049805 --> 10816.685547).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 12136.71 .. NELBO: 12136.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5376.18 .. NELBO: 5376.2
****************************************************************************************************
Validation loss decreased (10816.685547 --> 10752.389648).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12041.91 .. NELBO: 12041.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5340.45 .. NELBO: 5340.46
****************************************************************************************************
Validation loss decreased (10752.389648 --> 10680.920898).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11935.82 .. NELBO: 11935.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5311.31 .. NELBO: 5311.32
****************************************************************************************************
Validation loss decreased (10680.920898 --> 10622.653320).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11843.12 .. NELBO: 11843.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.55 .. NELBO: 5300.56
****************************************************************************************************
Validation loss decreased (10622.653320 --> 10601.132812).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11789.92 .. NELBO: 11789.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5312.29 .. NELBO: 5312.3
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11780.9 .. NELBO: 11780.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5335.0 .. NELBO: 5335.01
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11792.55 .. NELBO: 11792.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5350.71 .. NELBO: 5350.72
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.55 .. NELBO: 11795.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.01 .. NELBO: 5353.02
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11784.82 .. NELBO: 11784.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5347.29 .. NELBO: 5347.3
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06302714138636975, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=56, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=56, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=56, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 70.55 .. Rec_loss: 12263.97 .. NELBO: 12334.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.01 .. Rec_loss: 5443.58 .. NELBO: 5450.59
****************************************************************************************************
Validation loss decreased (inf --> 10901.173828).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.59 .. Rec_loss: 12247.29 .. NELBO: 12254.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 5431.3 .. NELBO: 5431.68
****************************************************************************************************
Validation loss decreased (10901.173828 --> 10863.356445).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.54 .. Rec_loss: 12207.21 .. NELBO: 12207.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5408.09 .. NELBO: 5408.15
****************************************************************************************************
Validation loss decreased (10863.356445 --> 10816.304688).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12136.31 .. NELBO: 12136.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5375.42 .. NELBO: 5375.44
****************************************************************************************************
Validation loss decreased (10816.304688 --> 10750.871094).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12038.9 .. NELBO: 12038.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5339.18 .. NELBO: 5339.19
****************************************************************************************************
Validation loss decreased (10750.871094 --> 10678.388672).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11932.11 .. NELBO: 11932.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5310.04 .. NELBO: 5310.05
****************************************************************************************************
Validation loss decreased (10678.388672 --> 10620.112305).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11839.6 .. NELBO: 11839.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.13 .. NELBO: 5300.14
****************************************************************************************************
Validation loss decreased (10620.112305 --> 10600.287109).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11787.56 .. NELBO: 11787.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5313.25 .. NELBO: 5313.26
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11780.63 .. NELBO: 11780.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5336.73 .. NELBO: 5336.74
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11793.87 .. NELBO: 11793.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5352.06 .. NELBO: 5352.07
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.22 .. NELBO: 11796.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.57 .. NELBO: 5353.58
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11784.5 .. NELBO: 11784.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5347.35 .. NELBO: 5347.36
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  128
model: ETM(
  (t_drop): Dropout(p=0.061774107428810475, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=72, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=72, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=72, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 80.8 .. Rec_loss: 12263.66 .. NELBO: 12344.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.84 .. Rec_loss: 5443.77 .. NELBO: 5451.61
****************************************************************************************************
Validation loss decreased (inf --> 10903.210938).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.54 .. Rec_loss: 12248.27 .. NELBO: 12256.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.42 .. Rec_loss: 5432.08 .. NELBO: 5432.5
****************************************************************************************************
Validation loss decreased (10903.210938 --> 10864.995117).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.59 .. Rec_loss: 12209.79 .. NELBO: 12210.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5409.58 .. NELBO: 5409.65
****************************************************************************************************
Validation loss decreased (10864.995117 --> 10819.286133).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12140.55 .. NELBO: 12140.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5377.44 .. NELBO: 5377.46
****************************************************************************************************
Validation loss decreased (10819.286133 --> 10754.920898).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12045.97 .. NELBO: 12046.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5341.27 .. NELBO: 5341.29
****************************************************************************************************
Validation loss decreased (10754.920898 --> 10682.568359).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11939.07 .. NELBO: 11939.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.39 .. NELBO: 5311.41
****************************************************************************************************
Validation loss decreased (10682.568359 --> 10622.819336).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11844.87 .. NELBO: 11844.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5299.97 .. NELBO: 5299.99
****************************************************************************************************
Validation loss decreased (10622.819336 --> 10599.976562).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11789.96 .. NELBO: 11789.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.64 .. NELBO: 5311.66
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11780.76 .. NELBO: 11780.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5334.77 .. NELBO: 5334.79
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11792.89 .. NELBO: 11792.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.75 .. NELBO: 5350.77
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.92 .. NELBO: 11795.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.06 .. NELBO: 5353.08
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11784.9 .. NELBO: 11784.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.29 .. NELBO: 5347.31
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.061774107428810475, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=72, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=72, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=72, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 89.77 .. Rec_loss: 12264.26 .. NELBO: 12354.03
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.1 .. Rec_loss: 5444.23 .. NELBO: 5452.33
****************************************************************************************************
Validation loss decreased (inf --> 10904.651367).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.79 .. Rec_loss: 12249.65 .. NELBO: 12258.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.47 .. Rec_loss: 5433.03 .. NELBO: 5433.5
****************************************************************************************************
Validation loss decreased (10904.651367 --> 10866.998047).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.68 .. Rec_loss: 12212.36 .. NELBO: 12213.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5411.28 .. NELBO: 5411.37
****************************************************************************************************
Validation loss decreased (10866.998047 --> 10822.728516).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 12145.39 .. NELBO: 12145.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5379.75 .. NELBO: 5379.78
****************************************************************************************************
Validation loss decreased (10822.728516 --> 10759.563477).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12050.92 .. NELBO: 12050.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5343.65 .. NELBO: 5343.67
****************************************************************************************************
Validation loss decreased (10759.563477 --> 10687.342773).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11944.42 .. NELBO: 11944.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.05 .. NELBO: 5313.07
****************************************************************************************************
Validation loss decreased (10687.342773 --> 10626.142578).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11848.71 .. NELBO: 11848.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.32 .. NELBO: 5300.34
****************************************************************************************************
Validation loss decreased (10626.142578 --> 10600.676758).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11791.13 .. NELBO: 11791.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.96 .. NELBO: 5310.98
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11779.47 .. NELBO: 11779.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5334.25 .. NELBO: 5334.27
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.15 .. NELBO: 11792.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.12 .. NELBO: 5351.14
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11797.04 .. NELBO: 11797.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.96 .. NELBO: 5353.98
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11786.27 .. NELBO: 11786.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5348.15 .. NELBO: 5348.17
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.061774107428810475, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=72, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=72, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=72, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 75.31 .. Rec_loss: 12264.34 .. NELBO: 12339.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.67 .. Rec_loss: 5444.07 .. NELBO: 5451.74
****************************************************************************************************
Validation loss decreased (inf --> 10903.468750).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.27 .. Rec_loss: 12248.44 .. NELBO: 12256.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.34 .. Rec_loss: 5432.06 .. NELBO: 5432.4
****************************************************************************************************
Validation loss decreased (10903.468750 --> 10864.789062).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.49 .. Rec_loss: 12209.37 .. NELBO: 12209.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5409.3 .. NELBO: 5409.36
****************************************************************************************************
Validation loss decreased (10864.789062 --> 10818.720703).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 12140.28 .. NELBO: 12140.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5377.08 .. NELBO: 5377.1
****************************************************************************************************
Validation loss decreased (10818.720703 --> 10754.208008).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12044.38 .. NELBO: 12044.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5341.02 .. NELBO: 5341.04
****************************************************************************************************
Validation loss decreased (10754.208008 --> 10682.065430).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11937.44 .. NELBO: 11937.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5311.43 .. NELBO: 5311.44
****************************************************************************************************
Validation loss decreased (10682.065430 --> 10622.885742).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11844.5 .. NELBO: 11844.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.32 .. NELBO: 5300.33
****************************************************************************************************
Validation loss decreased (10622.885742 --> 10600.666016).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11789.67 .. NELBO: 11789.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5312.04 .. NELBO: 5312.05
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11780.79 .. NELBO: 11780.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5334.96 .. NELBO: 5334.97
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11792.42 .. NELBO: 11792.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5350.86 .. NELBO: 5350.87
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.75 .. NELBO: 11795.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.2 .. NELBO: 5353.21
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11784.48 .. NELBO: 11784.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5347.43 .. NELBO: 5347.44
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  129
model: ETM(
  (t_drop): Dropout(p=0.06092487005803567, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=76, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=76, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=76, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 82.71 .. Rec_loss: 12264.23 .. NELBO: 12346.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.71 .. Rec_loss: 5443.8 .. NELBO: 5451.51
****************************************************************************************************
Validation loss decreased (inf --> 10903.013672).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.31 .. Rec_loss: 12247.78 .. NELBO: 12256.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 5431.49 .. NELBO: 5431.88
****************************************************************************************************
Validation loss decreased (10903.013672 --> 10863.774414).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.56 .. Rec_loss: 12207.57 .. NELBO: 12208.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5408.16 .. NELBO: 5408.23
****************************************************************************************************
Validation loss decreased (10863.774414 --> 10816.452148).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12136.34 .. NELBO: 12136.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5375.25 .. NELBO: 5375.27
****************************************************************************************************
Validation loss decreased (10816.452148 --> 10750.552734).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12038.93 .. NELBO: 12038.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5338.82 .. NELBO: 5338.84
****************************************************************************************************
Validation loss decreased (10750.552734 --> 10677.673828).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11930.96 .. NELBO: 11930.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5309.76 .. NELBO: 5309.78
****************************************************************************************************
Validation loss decreased (10677.673828 --> 10619.546875).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11838.66 .. NELBO: 11838.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.24 .. NELBO: 5300.26
****************************************************************************************************
Validation loss decreased (10619.546875 --> 10600.512695).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11787.6 .. NELBO: 11787.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.76 .. NELBO: 5313.78
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.52 .. NELBO: 11781.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.19 .. NELBO: 5337.21
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11794.13 .. NELBO: 11794.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.07 .. NELBO: 5352.09
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.82 .. NELBO: 11795.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.29 .. NELBO: 5353.3
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11783.5 .. NELBO: 11783.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5346.99 .. NELBO: 5347.0
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06092487005803567, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=76, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=76, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=76, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 83.55 .. Rec_loss: 12263.84 .. NELBO: 12347.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.6 .. Rec_loss: 5443.84 .. NELBO: 5451.44
****************************************************************************************************
Validation loss decreased (inf --> 10902.877930).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.21 .. Rec_loss: 12247.57 .. NELBO: 12255.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.44 .. Rec_loss: 5431.35 .. NELBO: 5431.79
****************************************************************************************************
Validation loss decreased (10902.877930 --> 10863.587891).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.64 .. Rec_loss: 12206.93 .. NELBO: 12207.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5407.97 .. NELBO: 5408.05
****************************************************************************************************
Validation loss decreased (10863.587891 --> 10816.090820).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12135.66 .. NELBO: 12135.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5375.0 .. NELBO: 5375.02
****************************************************************************************************
Validation loss decreased (10816.090820 --> 10750.053711).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12037.9 .. NELBO: 12037.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5338.56 .. NELBO: 5338.58
****************************************************************************************************
Validation loss decreased (10750.053711 --> 10677.158203).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11930.1 .. NELBO: 11930.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5309.63 .. NELBO: 5309.64
****************************************************************************************************
Validation loss decreased (10677.158203 --> 10619.298828).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11837.62 .. NELBO: 11837.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.41 .. NELBO: 5300.42
****************************************************************************************************
Validation loss decreased (10619.298828 --> 10600.846680).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11787.66 .. NELBO: 11787.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5314.17 .. NELBO: 5314.18
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.75 .. NELBO: 11781.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5337.54 .. NELBO: 5337.55
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11794.34 .. NELBO: 11794.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5352.14 .. NELBO: 5352.15
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.7 .. NELBO: 11795.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.13 .. NELBO: 5353.14
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11783.38 .. NELBO: 11783.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5346.79 .. NELBO: 5346.8
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06092487005803567, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=76, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=76, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=76, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 82.65 .. Rec_loss: 12263.81 .. NELBO: 12346.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.8 .. Rec_loss: 5444.02 .. NELBO: 5451.82
****************************************************************************************************
Validation loss decreased (inf --> 10903.626953).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.47 .. Rec_loss: 12248.35 .. NELBO: 12256.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.44 .. Rec_loss: 5432.05 .. NELBO: 5432.49
****************************************************************************************************
Validation loss decreased (10903.626953 --> 10864.991211).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.64 .. Rec_loss: 12208.83 .. NELBO: 12209.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5409.19 .. NELBO: 5409.27
****************************************************************************************************
Validation loss decreased (10864.991211 --> 10818.532227).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12138.71 .. NELBO: 12138.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5376.66 .. NELBO: 5376.69
****************************************************************************************************
Validation loss decreased (10818.532227 --> 10753.381836).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12042.15 .. NELBO: 12042.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5340.32 .. NELBO: 5340.34
****************************************************************************************************
Validation loss decreased (10753.381836 --> 10680.669922).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11934.07 .. NELBO: 11934.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.88 .. NELBO: 5310.9
****************************************************************************************************
Validation loss decreased (10680.669922 --> 10621.799805).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11841.6 .. NELBO: 11841.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.61 .. NELBO: 5300.63
****************************************************************************************************
Validation loss decreased (10621.799805 --> 10601.248047).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11788.62 .. NELBO: 11788.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.43 .. NELBO: 5313.45
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.01 .. NELBO: 11781.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.76 .. NELBO: 5336.78
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.44 .. NELBO: 11793.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.06 .. NELBO: 5352.08
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.34 .. NELBO: 11795.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.63 .. NELBO: 5353.65
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11784.23 .. NELBO: 11784.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.47 .. NELBO: 5347.49
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  130
model: ETM(
  (t_drop): Dropout(p=0.06002493108338804, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=76, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=76, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=76, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 81.94 .. Rec_loss: 12264.37 .. NELBO: 12346.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.45 .. Rec_loss: 5444.16 .. NELBO: 5451.61
****************************************************************************************************
Validation loss decreased (inf --> 10903.231445).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.0 .. Rec_loss: 12249.08 .. NELBO: 12257.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 5432.42 .. NELBO: 5432.81
****************************************************************************************************
Validation loss decreased (10903.231445 --> 10865.612305).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.56 .. Rec_loss: 12210.23 .. NELBO: 12210.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5409.96 .. NELBO: 5410.03
****************************************************************************************************
Validation loss decreased (10865.612305 --> 10820.048828).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12140.94 .. NELBO: 12141.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5377.85 .. NELBO: 5377.88
****************************************************************************************************
Validation loss decreased (10820.048828 --> 10755.758789).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12045.78 .. NELBO: 12045.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5341.76 .. NELBO: 5341.78
****************************************************************************************************
Validation loss decreased (10755.758789 --> 10683.562500).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11939.13 .. NELBO: 11939.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.92 .. NELBO: 5311.94
****************************************************************************************************
Validation loss decreased (10683.562500 --> 10623.867188).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11845.27 .. NELBO: 11845.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.37 .. NELBO: 5300.39
****************************************************************************************************
Validation loss decreased (10623.867188 --> 10600.777344).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11790.19 .. NELBO: 11790.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.77 .. NELBO: 5311.79
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.53 .. NELBO: 11780.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5334.77 .. NELBO: 5334.79
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.34 .. NELBO: 11792.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.85 .. NELBO: 5350.87
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.79 .. NELBO: 11795.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.25 .. NELBO: 5353.27
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11785.4 .. NELBO: 11785.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.44 .. NELBO: 5347.46
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06002493108338804, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=76, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=76, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=76, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 86.62 .. Rec_loss: 12264.11 .. NELBO: 12350.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.62 .. Rec_loss: 5444.13 .. NELBO: 5451.75
****************************************************************************************************
Validation loss decreased (inf --> 10903.510742).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.32 .. Rec_loss: 12249.06 .. NELBO: 12257.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.47 .. Rec_loss: 5432.62 .. NELBO: 5433.09
****************************************************************************************************
Validation loss decreased (10903.510742 --> 10866.188477).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.66 .. Rec_loss: 12211.0 .. NELBO: 12211.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5410.47 .. NELBO: 5410.54
****************************************************************************************************
Validation loss decreased (10866.188477 --> 10821.092773).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12143.01 .. NELBO: 12143.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5378.65 .. NELBO: 5378.67
****************************************************************************************************
Validation loss decreased (10821.092773 --> 10757.354492).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12047.8 .. NELBO: 12047.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5342.49 .. NELBO: 5342.51
****************************************************************************************************
Validation loss decreased (10757.354492 --> 10685.024414).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11941.04 .. NELBO: 11941.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.29 .. NELBO: 5312.31
****************************************************************************************************
Validation loss decreased (10685.024414 --> 10624.616211).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11845.88 .. NELBO: 11845.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.39 .. NELBO: 5300.41
****************************************************************************************************
Validation loss decreased (10624.616211 --> 10600.812500).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11789.89 .. NELBO: 11789.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.79 .. NELBO: 5311.81
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.25 .. NELBO: 11780.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.04 .. NELBO: 5335.06
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.64 .. NELBO: 11792.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.23 .. NELBO: 5351.25
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.56 .. NELBO: 11796.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.57 .. NELBO: 5353.59
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11785.23 .. NELBO: 11785.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.65 .. NELBO: 5347.67
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06002493108338804, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=76, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=76, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=76, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 87.87 .. Rec_loss: 12264.49 .. NELBO: 12352.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.92 .. Rec_loss: 5444.26 .. NELBO: 5452.18
****************************************************************************************************
Validation loss decreased (inf --> 10904.366211).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.58 .. Rec_loss: 12249.65 .. NELBO: 12258.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.52 .. Rec_loss: 5433.07 .. NELBO: 5433.59
****************************************************************************************************
Validation loss decreased (10904.366211 --> 10867.191406).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.76 .. Rec_loss: 12212.23 .. NELBO: 12212.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 5411.06 .. NELBO: 5411.16
****************************************************************************************************
Validation loss decreased (10867.191406 --> 10822.313477).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 12145.08 .. NELBO: 12145.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5379.26 .. NELBO: 5379.29
****************************************************************************************************
Validation loss decreased (10822.313477 --> 10758.583008).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12050.47 .. NELBO: 12050.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5343.01 .. NELBO: 5343.03
****************************************************************************************************
Validation loss decreased (10758.583008 --> 10686.062500).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11942.75 .. NELBO: 11942.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.56 .. NELBO: 5312.58
****************************************************************************************************
Validation loss decreased (10686.062500 --> 10625.148438).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11848.04 .. NELBO: 11848.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.26 .. NELBO: 5300.28
****************************************************************************************************
Validation loss decreased (10625.148438 --> 10600.547852).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11790.86 .. NELBO: 11790.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.3 .. NELBO: 5311.32
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.21 .. NELBO: 11780.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5334.56 .. NELBO: 5334.58
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.42 .. NELBO: 11792.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.12 .. NELBO: 5351.14
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.91 .. NELBO: 11796.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.74 .. NELBO: 5353.76
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11785.61 .. NELBO: 11785.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.88 .. NELBO: 5347.9
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  131
model: ETM(
  (t_drop): Dropout(p=0.061454763147200865, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=72, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=72, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=72, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1139.2 .. Rec_loss: 12264.74 .. NELBO: 13403.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 23.81 .. Rec_loss: 5445.62 .. NELBO: 5469.43
****************************************************************************************************
Validation loss decreased (inf --> 10938.848633).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 29.99 .. Rec_loss: 12253.91 .. NELBO: 12283.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.73 .. Rec_loss: 5436.53 .. NELBO: 5445.26
****************************************************************************************************
Validation loss decreased (10938.848633 --> 10890.534180).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 18.51 .. Rec_loss: 12224.19 .. NELBO: 12242.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.09 .. Rec_loss: 5418.47 .. NELBO: 5426.56
****************************************************************************************************
Validation loss decreased (10890.534180 --> 10853.123047).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 15.12 .. Rec_loss: 12167.59 .. NELBO: 12182.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 5.29 .. Rec_loss: 5390.37 .. NELBO: 5395.66
****************************************************************************************************
Validation loss decreased (10853.123047 --> 10791.333008).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 10.29 .. Rec_loss: 12082.69 .. NELBO: 12092.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.72 .. Rec_loss: 5355.55 .. NELBO: 5359.27
****************************************************************************************************
Validation loss decreased (10791.333008 --> 10718.541016).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 7.46 .. Rec_loss: 11978.98 .. NELBO: 11986.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.81 .. Rec_loss: 5322.11 .. NELBO: 5324.92
****************************************************************************************************
Validation loss decreased (10718.541016 --> 10649.851562).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 5.51 .. Rec_loss: 11876.46 .. NELBO: 11881.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.12 .. Rec_loss: 5301.98 .. NELBO: 5304.1
****************************************************************************************************
Validation loss decreased (10649.851562 --> 10608.208984).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 4.2 .. Rec_loss: 11803.61 .. NELBO: 11807.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.55 .. Rec_loss: 5304.48 .. NELBO: 5306.03
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 2.99 .. Rec_loss: 11776.88 .. NELBO: 11779.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.09 .. Rec_loss: 5325.32 .. NELBO: 5326.41
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 2.1 .. Rec_loss: 11785.14 .. NELBO: 11787.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.74 .. Rec_loss: 5346.27 .. NELBO: 5347.01
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 1.43 .. Rec_loss: 11795.39 .. NELBO: 11796.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.53 .. Rec_loss: 5354.13 .. NELBO: 5354.66
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 1.11 .. Rec_loss: 11790.1 .. NELBO: 11791.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.44 .. Rec_loss: 5350.53 .. NELBO: 5350.97
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.061454763147200865, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=72, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=72, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=72, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1775.21 .. Rec_loss: 12264.56 .. NELBO: 14039.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 32.52 .. Rec_loss: 5445.74 .. NELBO: 5478.26
****************************************************************************************************
Validation loss decreased (inf --> 10956.515625).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 43.74 .. Rec_loss: 12254.72 .. NELBO: 12298.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 18.94 .. Rec_loss: 5437.56 .. NELBO: 5456.5
****************************************************************************************************
Validation loss decreased (10956.515625 --> 10912.992188).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 42.97 .. Rec_loss: 12226.89 .. NELBO: 12269.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 21.01 .. Rec_loss: 5420.9 .. NELBO: 5441.91
****************************************************************************************************
Validation loss decreased (10912.992188 --> 10883.832031).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 40.13 .. Rec_loss: 12174.43 .. NELBO: 12214.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 14.65 .. Rec_loss: 5395.27 .. NELBO: 5409.92
****************************************************************************************************
Validation loss decreased (10883.832031 --> 10819.849609).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 28.34 .. Rec_loss: 12096.6 .. NELBO: 12124.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 11.02 .. Rec_loss: 5362.51 .. NELBO: 5373.53
****************************************************************************************************
Validation loss decreased (10819.849609 --> 10747.059570).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 22.69 .. Rec_loss: 11995.73 .. NELBO: 12018.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 10.41 .. Rec_loss: 5328.35 .. NELBO: 5338.76
****************************************************************************************************
Validation loss decreased (10747.059570 --> 10677.530273).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 21.42 .. Rec_loss: 11891.13 .. NELBO: 11912.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 9.93 .. Rec_loss: 5304.46 .. NELBO: 5314.39
****************************************************************************************************
Validation loss decreased (10677.530273 --> 10628.774414).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 19.9 .. Rec_loss: 11812.43 .. NELBO: 11832.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.2 .. Rec_loss: 5301.57 .. NELBO: 5309.77
****************************************************************************************************
Validation loss decreased (10628.774414 --> 10619.542969).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 15.82 .. Rec_loss: 11778.37 .. NELBO: 11794.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 5.98 .. Rec_loss: 5317.67 .. NELBO: 5323.65
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 11.51 .. Rec_loss: 11778.87 .. NELBO: 11790.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.1 .. Rec_loss: 5337.83 .. NELBO: 5341.93
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 7.94 .. Rec_loss: 11788.21 .. NELBO: 11796.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.87 .. Rec_loss: 5348.18 .. NELBO: 5351.05
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 5.71 .. Rec_loss: 11786.17 .. NELBO: 11791.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.21 .. Rec_loss: 5346.81 .. NELBO: 5349.02
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 4.51 .. Rec_loss: 11774.02 .. NELBO: 11778.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.94 .. Rec_loss: 5340.13 .. NELBO: 5342.07
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.061454763147200865, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=72, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=72, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=72, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1554.06 .. Rec_loss: 12264.42 .. NELBO: 13818.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 31.2 .. Rec_loss: 5445.52 .. NELBO: 5476.72
****************************************************************************************************
Validation loss decreased (inf --> 10953.449219).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 42.22 .. Rec_loss: 12253.99 .. NELBO: 12296.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 18.62 .. Rec_loss: 5436.71 .. NELBO: 5455.33
****************************************************************************************************
Validation loss decreased (10953.449219 --> 10910.670898).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 41.41 .. Rec_loss: 12225.87 .. NELBO: 12267.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 18.23 .. Rec_loss: 5419.85 .. NELBO: 5438.08
****************************************************************************************************
Validation loss decreased (10910.670898 --> 10876.162109).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 34.83 .. Rec_loss: 12173.06 .. NELBO: 12207.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 12.83 .. Rec_loss: 5393.81 .. NELBO: 5406.64
****************************************************************************************************
Validation loss decreased (10876.162109 --> 10813.284180).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 24.93 .. Rec_loss: 12094.45 .. NELBO: 12119.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 9.43 .. Rec_loss: 5360.79 .. NELBO: 5370.22
****************************************************************************************************
Validation loss decreased (10813.284180 --> 10740.454102).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 18.7 .. Rec_loss: 11996.03 .. NELBO: 12014.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.3 .. Rec_loss: 5327.23 .. NELBO: 5334.53
****************************************************************************************************
Validation loss decreased (10740.454102 --> 10669.061523).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 14.25 .. Rec_loss: 11893.74 .. NELBO: 11907.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 5.46 .. Rec_loss: 5304.15 .. NELBO: 5309.61
****************************************************************************************************
Validation loss decreased (10669.061523 --> 10619.221680).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 10.64 .. Rec_loss: 11814.51 .. NELBO: 11825.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.96 .. Rec_loss: 5301.84 .. NELBO: 5305.8
****************************************************************************************************
Validation loss decreased (10619.221680 --> 10611.613281).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 7.74 .. Rec_loss: 11778.82 .. NELBO: 11786.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.68 .. Rec_loss: 5319.49 .. NELBO: 5322.17
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 5.16 .. Rec_loss: 11781.94 .. NELBO: 11787.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.72 .. Rec_loss: 5341.29 .. NELBO: 5343.01
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 3.25 .. Rec_loss: 11793.17 .. NELBO: 11796.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.17 .. Rec_loss: 5352.11 .. NELBO: 5353.28
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 2.39 .. Rec_loss: 11791.15 .. NELBO: 11793.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.93 .. Rec_loss: 5350.73 .. NELBO: 5351.66
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 1.97 .. Rec_loss: 11778.57 .. NELBO: 11780.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.84 .. Rec_loss: 5343.86 .. NELBO: 5344.7
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  132
model: ETM(
  (t_drop): Dropout(p=0.06112375986365006, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=78, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=78, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=78, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 79.17 .. Rec_loss: 12264.15 .. NELBO: 12343.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.28 .. Rec_loss: 5443.87 .. NELBO: 5451.15
****************************************************************************************************
Validation loss decreased (inf --> 10902.297852).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.91 .. Rec_loss: 12248.06 .. NELBO: 12255.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 5431.84 .. NELBO: 5432.23
****************************************************************************************************
Validation loss decreased (10902.297852 --> 10864.452148).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.54 .. Rec_loss: 12208.14 .. NELBO: 12208.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5408.98 .. NELBO: 5409.04
****************************************************************************************************
Validation loss decreased (10864.452148 --> 10818.084961).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 12138.89 .. NELBO: 12138.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5376.61 .. NELBO: 5376.63
****************************************************************************************************
Validation loss decreased (10818.084961 --> 10753.262695).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12042.08 .. NELBO: 12042.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5340.41 .. NELBO: 5340.43
****************************************************************************************************
Validation loss decreased (10753.262695 --> 10680.855469).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11935.14 .. NELBO: 11935.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5310.92 .. NELBO: 5310.93
****************************************************************************************************
Validation loss decreased (10680.855469 --> 10621.869141).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11841.96 .. NELBO: 11841.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.3 .. NELBO: 5300.32
****************************************************************************************************
Validation loss decreased (10621.869141 --> 10600.624023).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11788.62 .. NELBO: 11788.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.73 .. NELBO: 5312.75
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11780.72 .. NELBO: 11780.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.96 .. NELBO: 5335.98
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11793.5 .. NELBO: 11793.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.44 .. NELBO: 5351.46
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.03 .. NELBO: 11796.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.27 .. NELBO: 5353.29
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11784.01 .. NELBO: 11784.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5347.26 .. NELBO: 5347.27
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06112375986365006, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=78, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=78, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=78, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 88.9 .. Rec_loss: 12264.28 .. NELBO: 12353.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.81 .. Rec_loss: 5444.11 .. NELBO: 5451.92
****************************************************************************************************
Validation loss decreased (inf --> 10903.832031).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.39 .. Rec_loss: 12249.09 .. NELBO: 12257.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.46 .. Rec_loss: 5432.65 .. NELBO: 5433.11
****************************************************************************************************
Validation loss decreased (10903.832031 --> 10866.224609).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.68 .. Rec_loss: 12210.87 .. NELBO: 12211.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5410.33 .. NELBO: 5410.42
****************************************************************************************************
Validation loss decreased (10866.224609 --> 10820.849609).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 12141.76 .. NELBO: 12141.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5378.21 .. NELBO: 5378.24
****************************************************************************************************
Validation loss decreased (10820.849609 --> 10756.494141).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 12046.23 .. NELBO: 12046.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5341.82 .. NELBO: 5341.84
****************************************************************************************************
Validation loss decreased (10756.494141 --> 10683.687500).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11937.9 .. NELBO: 11937.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.73 .. NELBO: 5311.75
****************************************************************************************************
Validation loss decreased (10683.687500 --> 10623.510742).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11843.07 .. NELBO: 11843.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.52 .. NELBO: 5300.54
****************************************************************************************************
Validation loss decreased (10623.510742 --> 10601.086914).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11788.5 .. NELBO: 11788.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.91 .. NELBO: 5312.93
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.13 .. NELBO: 11780.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.65 .. NELBO: 5336.67
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.27 .. NELBO: 11793.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.55 .. NELBO: 5352.57
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.88 .. NELBO: 11796.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5354.25 .. NELBO: 5354.27
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11785.02 .. NELBO: 11785.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.88 .. NELBO: 5347.9
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06112375986365006, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=78, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=78, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=78, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 86.27 .. Rec_loss: 12264.69 .. NELBO: 12350.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.38 .. Rec_loss: 5444.73 .. NELBO: 5453.11
****************************************************************************************************
Validation loss decreased (inf --> 10906.236328).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.99 .. Rec_loss: 12251.01 .. NELBO: 12260.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.4 .. Rec_loss: 5433.81 .. NELBO: 5434.21
****************************************************************************************************
Validation loss decreased (10906.236328 --> 10868.405273).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.57 .. Rec_loss: 12214.76 .. NELBO: 12215.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5412.54 .. NELBO: 5412.61
****************************************************************************************************
Validation loss decreased (10868.405273 --> 10825.216797).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12148.64 .. NELBO: 12148.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5381.24 .. NELBO: 5381.27
****************************************************************************************************
Validation loss decreased (10825.216797 --> 10762.526367).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12056.24 .. NELBO: 12056.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5344.94 .. NELBO: 5344.96
****************************************************************************************************
Validation loss decreased (10762.526367 --> 10689.917969).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11948.74 .. NELBO: 11948.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.75 .. NELBO: 5313.77
****************************************************************************************************
Validation loss decreased (10689.917969 --> 10627.533203).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11851.8 .. NELBO: 11851.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.29 .. NELBO: 5300.31
****************************************************************************************************
Validation loss decreased (10627.533203 --> 10600.618164).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.71 .. NELBO: 11792.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.43 .. NELBO: 5310.45
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.5 .. NELBO: 11780.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5333.7 .. NELBO: 5333.72
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.24 .. NELBO: 11792.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.74 .. NELBO: 5350.76
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11797.01 .. NELBO: 11797.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.73 .. NELBO: 5353.75
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11786.6 .. NELBO: 11786.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5348.0 .. NELBO: 5348.02
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  133
model: ETM(
  (t_drop): Dropout(p=0.06163309604245789, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=97, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=97, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=97, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 89.71 .. Rec_loss: 12264.14 .. NELBO: 12353.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.96 .. Rec_loss: 5444.42 .. NELBO: 5452.38
****************************************************************************************************
Validation loss decreased (inf --> 10904.766602).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.51 .. Rec_loss: 12249.55 .. NELBO: 12258.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.41 .. Rec_loss: 5432.79 .. NELBO: 5433.2
****************************************************************************************************
Validation loss decreased (10904.766602 --> 10866.398438).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.6 .. Rec_loss: 12210.92 .. NELBO: 12211.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5410.25 .. NELBO: 5410.33
****************************************************************************************************
Validation loss decreased (10866.398438 --> 10820.651367).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12141.63 .. NELBO: 12141.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5377.88 .. NELBO: 5377.91
****************************************************************************************************
Validation loss decreased (10820.651367 --> 10755.823242).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12045.22 .. NELBO: 12045.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5341.4 .. NELBO: 5341.42
****************************************************************************************************
Validation loss decreased (10755.823242 --> 10682.852539).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11937.51 .. NELBO: 11937.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.49 .. NELBO: 5311.51
****************************************************************************************************
Validation loss decreased (10682.852539 --> 10623.028320).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11842.77 .. NELBO: 11842.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.5 .. NELBO: 5300.52
****************************************************************************************************
Validation loss decreased (10623.028320 --> 10601.041992).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11788.82 .. NELBO: 11788.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.79 .. NELBO: 5312.81
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.6 .. NELBO: 11780.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.17 .. NELBO: 5336.19
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.4 .. NELBO: 11793.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.81 .. NELBO: 5351.83
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.06 .. NELBO: 11796.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.6 .. NELBO: 5353.62
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11784.43 .. NELBO: 11784.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.47 .. NELBO: 5347.49
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06163309604245789, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=97, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=97, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=97, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 96.82 .. Rec_loss: 12264.28 .. NELBO: 12361.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.6 .. Rec_loss: 5444.41 .. NELBO: 5453.01
****************************************************************************************************
Validation loss decreased (inf --> 10906.025391).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 9.14 .. Rec_loss: 12249.76 .. NELBO: 12258.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.41 .. Rec_loss: 5432.85 .. NELBO: 5433.26
****************************************************************************************************
Validation loss decreased (10906.025391 --> 10866.525391).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.61 .. Rec_loss: 12211.43 .. NELBO: 12212.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5410.66 .. NELBO: 5410.74
****************************************************************************************************
Validation loss decreased (10866.525391 --> 10821.477539).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12143.02 .. NELBO: 12143.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5378.82 .. NELBO: 5378.85
****************************************************************************************************
Validation loss decreased (10821.477539 --> 10757.706055).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 12048.55 .. NELBO: 12048.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5342.71 .. NELBO: 5342.73
****************************************************************************************************
Validation loss decreased (10757.706055 --> 10685.472656).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11942.67 .. NELBO: 11942.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.55 .. NELBO: 5312.57
****************************************************************************************************
Validation loss decreased (10685.472656 --> 10625.152344).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11847.46 .. NELBO: 11847.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.53 .. NELBO: 5300.55
****************************************************************************************************
Validation loss decreased (10625.152344 --> 10601.099609).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11791.31 .. NELBO: 11791.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.55 .. NELBO: 5311.57
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.62 .. NELBO: 11780.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5334.45 .. NELBO: 5334.47
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11792.26 .. NELBO: 11792.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.64 .. NELBO: 5350.66
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11796.06 .. NELBO: 11796.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.25 .. NELBO: 5353.27
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11785.25 .. NELBO: 11785.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.54 .. NELBO: 5347.56
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06163309604245789, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=97, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=97, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=97, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 88.86 .. Rec_loss: 12263.96 .. NELBO: 12352.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.91 .. Rec_loss: 5443.89 .. NELBO: 5451.8
****************************************************************************************************
Validation loss decreased (inf --> 10903.618164).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.6 .. Rec_loss: 12247.6 .. NELBO: 12256.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.44 .. Rec_loss: 5431.3 .. NELBO: 5431.74
****************************************************************************************************
Validation loss decreased (10903.618164 --> 10863.467773).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.62 .. Rec_loss: 12206.49 .. NELBO: 12207.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5407.8 .. NELBO: 5407.87
****************************************************************************************************
Validation loss decreased (10863.467773 --> 10815.743164).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12134.65 .. NELBO: 12134.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5374.84 .. NELBO: 5374.87
****************************************************************************************************
Validation loss decreased (10815.743164 --> 10749.731445).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12037.33 .. NELBO: 12037.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5338.5 .. NELBO: 5338.52
****************************************************************************************************
Validation loss decreased (10749.731445 --> 10677.047852).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11929.2 .. NELBO: 11929.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5309.74 .. NELBO: 5309.76
****************************************************************************************************
Validation loss decreased (10677.047852 --> 10619.524414).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11837.99 .. NELBO: 11838.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.6 .. NELBO: 5300.62
****************************************************************************************************
Validation loss decreased (10619.524414 --> 10601.253906).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11787.73 .. NELBO: 11787.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5314.27 .. NELBO: 5314.29
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11781.91 .. NELBO: 11781.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.39 .. NELBO: 5337.41
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11793.92 .. NELBO: 11793.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.84 .. NELBO: 5351.86
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11795.47 .. NELBO: 11795.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.77 .. NELBO: 5352.79
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11783.51 .. NELBO: 11783.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.42 .. NELBO: 5346.44
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  134
model: ETM(
  (t_drop): Dropout(p=0.059832116320987234, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=77, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=77, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=77, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1460.54 .. Rec_loss: 12264.49 .. NELBO: 13725.03
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 64.91 .. Rec_loss: 5446.21 .. NELBO: 5511.12
****************************************************************************************************
Validation loss decreased (inf --> 11022.235352).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 96.16 .. Rec_loss: 12255.4 .. NELBO: 12351.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 72.68 .. Rec_loss: 5438.39 .. NELBO: 5511.07
****************************************************************************************************
Validation loss decreased (11022.235352 --> 11022.131836).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 144.01 .. Rec_loss: 12231.29 .. NELBO: 12375.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 52.34 .. Rec_loss: 5423.91 .. NELBO: 5476.25
****************************************************************************************************
Validation loss decreased (11022.131836 --> 10952.515625).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 105.88 .. Rec_loss: 12187.79 .. NELBO: 12293.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 45.54 .. Rec_loss: 5403.36 .. NELBO: 5448.9
****************************************************************************************************
Validation loss decreased (10952.515625 --> 10897.788086).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 96.18 .. Rec_loss: 12122.32 .. NELBO: 12218.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 43.86 .. Rec_loss: 5373.14 .. NELBO: 5417.0
****************************************************************************************************
Validation loss decreased (10897.788086 --> 10834.001953).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 90.47 .. Rec_loss: 12033.2 .. NELBO: 12123.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 40.53 .. Rec_loss: 5340.62 .. NELBO: 5381.15
****************************************************************************************************
Validation loss decreased (10834.001953 --> 10762.302734).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 84.96 .. Rec_loss: 11935.41 .. NELBO: 12020.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 36.88 .. Rec_loss: 5312.77 .. NELBO: 5349.65
****************************************************************************************************
Validation loss decreased (10762.302734 --> 10699.297852).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 76.05 .. Rec_loss: 11845.49 .. NELBO: 11921.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 32.27 .. Rec_loss: 5300.18 .. NELBO: 5332.45
****************************************************************************************************
Validation loss decreased (10699.297852 --> 10664.909180).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 66.6 .. Rec_loss: 11789.44 .. NELBO: 11856.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 25.99 .. Rec_loss: 5307.89 .. NELBO: 5333.88
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 54.19 .. Rec_loss: 11774.96 .. NELBO: 11829.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 20.55 .. Rec_loss: 5321.41 .. NELBO: 5341.96
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 44.63 .. Rec_loss: 11777.21 .. NELBO: 11821.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 17.74 .. Rec_loss: 5336.64 .. NELBO: 5354.38
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 40.86 .. Rec_loss: 11779.21 .. NELBO: 11820.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 18.04 .. Rec_loss: 5341.7 .. NELBO: 5359.74
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 43.0 .. Rec_loss: 11774.44 .. NELBO: 11817.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 16.83 .. Rec_loss: 5338.39 .. NELBO: 5355.22
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.059832116320987234, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=77, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=77, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=77, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1893.91 .. Rec_loss: 12264.2 .. NELBO: 14158.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 30.1 .. Rec_loss: 5445.59 .. NELBO: 5475.69
****************************************************************************************************
Validation loss decreased (inf --> 10951.379883).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 41.79 .. Rec_loss: 12254.02 .. NELBO: 12295.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 21.98 .. Rec_loss: 5436.82 .. NELBO: 5458.8
****************************************************************************************************
Validation loss decreased (10951.379883 --> 10917.601562).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 45.49 .. Rec_loss: 12226.07 .. NELBO: 12271.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 18.19 .. Rec_loss: 5420.1 .. NELBO: 5438.29
****************************************************************************************************
Validation loss decreased (10917.601562 --> 10876.579102).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 34.09 .. Rec_loss: 12173.25 .. NELBO: 12207.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 12.43 .. Rec_loss: 5394.22 .. NELBO: 5406.65
****************************************************************************************************
Validation loss decreased (10876.579102 --> 10813.288086).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 23.67 .. Rec_loss: 12094.21 .. NELBO: 12117.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.79 .. Rec_loss: 5361.0 .. NELBO: 5369.79
****************************************************************************************************
Validation loss decreased (10813.288086 --> 10739.595703).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 17.62 .. Rec_loss: 11995.35 .. NELBO: 12012.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.26 .. Rec_loss: 5327.18 .. NELBO: 5334.44
****************************************************************************************************
Validation loss decreased (10739.595703 --> 10668.873047).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 14.42 .. Rec_loss: 11892.35 .. NELBO: 11906.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 5.89 .. Rec_loss: 5304.11 .. NELBO: 5310.0
****************************************************************************************************
Validation loss decreased (10668.873047 --> 10620.000000).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 11.72 .. Rec_loss: 11812.77 .. NELBO: 11824.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.63 .. Rec_loss: 5302.41 .. NELBO: 5307.04
****************************************************************************************************
Validation loss decreased (10620.000000 --> 10614.083008).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 9.11 .. Rec_loss: 11777.98 .. NELBO: 11787.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.5 .. Rec_loss: 5320.89 .. NELBO: 5324.39
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 6.85 .. Rec_loss: 11782.78 .. NELBO: 11789.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.5 .. Rec_loss: 5342.75 .. NELBO: 5345.25
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 4.91 .. Rec_loss: 11793.98 .. NELBO: 11798.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.86 .. Rec_loss: 5352.78 .. NELBO: 5354.64
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 3.78 .. Rec_loss: 11790.93 .. NELBO: 11794.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.64 .. Rec_loss: 5350.49 .. NELBO: 5352.13
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 3.56 .. Rec_loss: 11776.96 .. NELBO: 11780.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.65 .. Rec_loss: 5343.09 .. NELBO: 5344.74
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.059832116320987234, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=77, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=77, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=77, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1353.74 .. Rec_loss: 12264.4 .. NELBO: 13618.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 24.85 .. Rec_loss: 5445.46 .. NELBO: 5470.31
****************************************************************************************************
Validation loss decreased (inf --> 10940.610352).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 31.19 .. Rec_loss: 12253.41 .. NELBO: 12284.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.86 .. Rec_loss: 5436.33 .. NELBO: 5445.19
****************************************************************************************************
Validation loss decreased (10940.610352 --> 10890.390625).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 19.46 .. Rec_loss: 12223.93 .. NELBO: 12243.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 9.45 .. Rec_loss: 5418.6 .. NELBO: 5428.05
****************************************************************************************************
Validation loss decreased (10890.390625 --> 10856.088867).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 18.67 .. Rec_loss: 12167.92 .. NELBO: 12186.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.52 .. Rec_loss: 5391.14 .. NELBO: 5398.66
****************************************************************************************************
Validation loss decreased (10856.088867 --> 10797.318359).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 14.83 .. Rec_loss: 12085.07 .. NELBO: 12099.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 5.53 .. Rec_loss: 5356.79 .. NELBO: 5362.32
****************************************************************************************************
Validation loss decreased (10797.318359 --> 10724.643555).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 10.91 .. Rec_loss: 11982.09 .. NELBO: 11993.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.27 .. Rec_loss: 5323.31 .. NELBO: 5327.58
****************************************************************************************************
Validation loss decreased (10724.643555 --> 10655.153320).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 8.57 .. Rec_loss: 11879.49 .. NELBO: 11888.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.52 .. Rec_loss: 5302.53 .. NELBO: 5306.05
****************************************************************************************************
Validation loss decreased (10655.153320 --> 10612.085938).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 7.22 .. Rec_loss: 11804.75 .. NELBO: 11811.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.99 .. Rec_loss: 5304.34 .. NELBO: 5307.33
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 6.05 .. Rec_loss: 11777.09 .. NELBO: 11783.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.43 .. Rec_loss: 5325.2 .. NELBO: 5327.63
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 4.9 .. Rec_loss: 11785.66 .. NELBO: 11790.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.9 .. Rec_loss: 5346.55 .. NELBO: 5348.45
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 3.84 .. Rec_loss: 11796.23 .. NELBO: 11800.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.5 .. Rec_loss: 5354.52 .. NELBO: 5356.02
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 3.13 .. Rec_loss: 11791.32 .. NELBO: 11794.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.27 .. Rec_loss: 5350.72 .. NELBO: 5351.99
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  135
model: ETM(
  (t_drop): Dropout(p=0.06255768196868168, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 93.58 .. Rec_loss: 12264.17 .. NELBO: 12357.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.61 .. Rec_loss: 5444.03 .. NELBO: 5452.64
****************************************************************************************************
Validation loss decreased (inf --> 10905.280273).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 9.25 .. Rec_loss: 12248.19 .. NELBO: 12257.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 5431.76 .. NELBO: 5432.21
****************************************************************************************************
Validation loss decreased (10905.280273 --> 10864.418945).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.66 .. Rec_loss: 12207.87 .. NELBO: 12208.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5408.59 .. NELBO: 5408.67
****************************************************************************************************
Validation loss decreased (10864.418945 --> 10817.343750).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12136.85 .. NELBO: 12136.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5375.95 .. NELBO: 5375.98
****************************************************************************************************
Validation loss decreased (10817.343750 --> 10751.962891).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12040.6 .. NELBO: 12040.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5339.75 .. NELBO: 5339.77
****************************************************************************************************
Validation loss decreased (10751.962891 --> 10679.542969).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11933.02 .. NELBO: 11933.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.57 .. NELBO: 5310.59
****************************************************************************************************
Validation loss decreased (10679.542969 --> 10621.171875).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11841.08 .. NELBO: 11841.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.39 .. NELBO: 5300.41
****************************************************************************************************
Validation loss decreased (10621.171875 --> 10600.817383).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11788.4 .. NELBO: 11788.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.0 .. NELBO: 5313.02
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.89 .. NELBO: 11780.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.04 .. NELBO: 5336.06
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.18 .. NELBO: 11793.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.32 .. NELBO: 5351.34
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.87 .. NELBO: 11795.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.06 .. NELBO: 5353.08
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11783.83 .. NELBO: 11783.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.1 .. NELBO: 5347.12
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06255768196868168, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 85.47 .. Rec_loss: 12264.13 .. NELBO: 12349.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.7 .. Rec_loss: 5443.97 .. NELBO: 5451.67
****************************************************************************************************
Validation loss decreased (inf --> 10903.338867).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.49 .. Rec_loss: 12247.62 .. NELBO: 12256.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.48 .. Rec_loss: 5431.36 .. NELBO: 5431.84
****************************************************************************************************
Validation loss decreased (10903.338867 --> 10863.677734).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.66 .. Rec_loss: 12206.65 .. NELBO: 12207.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5407.9 .. NELBO: 5407.97
****************************************************************************************************
Validation loss decreased (10863.677734 --> 10815.946289).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12135.28 .. NELBO: 12135.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5374.97 .. NELBO: 5374.99
****************************************************************************************************
Validation loss decreased (10815.946289 --> 10749.997070).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12037.39 .. NELBO: 12037.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5338.67 .. NELBO: 5338.69
****************************************************************************************************
Validation loss decreased (10749.997070 --> 10677.375000).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11929.5 .. NELBO: 11929.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5309.85 .. NELBO: 5309.87
****************************************************************************************************
Validation loss decreased (10677.375000 --> 10619.728516).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11838.17 .. NELBO: 11838.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.54 .. NELBO: 5300.56
****************************************************************************************************
Validation loss decreased (10619.728516 --> 10601.122070).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11787.4 .. NELBO: 11787.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5314.05 .. NELBO: 5314.07
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.31 .. NELBO: 11781.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.25 .. NELBO: 5337.27
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.96 .. NELBO: 11794.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.95 .. NELBO: 5351.97
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.78 .. NELBO: 11795.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.04 .. NELBO: 5353.06
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11783.63 .. NELBO: 11783.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.74 .. NELBO: 5346.76
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06255768196868168, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 93.86 .. Rec_loss: 12264.6 .. NELBO: 12358.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.49 .. Rec_loss: 5444.3 .. NELBO: 5452.79
****************************************************************************************************
Validation loss decreased (inf --> 10905.578125).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 9.16 .. Rec_loss: 12249.59 .. NELBO: 12258.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 5433.06 .. NELBO: 5433.49
****************************************************************************************************
Validation loss decreased (10905.578125 --> 10866.977539).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.6 .. Rec_loss: 12213.14 .. NELBO: 12213.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5411.47 .. NELBO: 5411.54
****************************************************************************************************
Validation loss decreased (10866.977539 --> 10823.073242).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12147.05 .. NELBO: 12147.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5380.15 .. NELBO: 5380.17
****************************************************************************************************
Validation loss decreased (10823.073242 --> 10760.342773).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12053.85 .. NELBO: 12053.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5344.09 .. NELBO: 5344.11
****************************************************************************************************
Validation loss decreased (10760.342773 --> 10688.215820).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11947.35 .. NELBO: 11947.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.22 .. NELBO: 5313.24
****************************************************************************************************
Validation loss decreased (10688.215820 --> 10626.462891).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11851.38 .. NELBO: 11851.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5299.89 .. NELBO: 5299.91
****************************************************************************************************
Validation loss decreased (10626.462891 --> 10599.821289).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11792.69 .. NELBO: 11792.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5309.97 .. NELBO: 5309.99
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11780.13 .. NELBO: 11780.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5333.15 .. NELBO: 5333.17
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11791.46 .. NELBO: 11791.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.41 .. NELBO: 5350.43
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.32 .. NELBO: 11796.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.8 .. NELBO: 5353.82
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11786.1 .. NELBO: 11786.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5348.34 .. NELBO: 5348.36
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  136
model: ETM(
  (t_drop): Dropout(p=0.06225122465533978, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=99, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=99, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=99, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 94.44 .. Rec_loss: 12264.75 .. NELBO: 12359.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.35 .. Rec_loss: 5444.47 .. NELBO: 5452.82
****************************************************************************************************
Validation loss decreased (inf --> 10905.655273).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 9.11 .. Rec_loss: 12249.79 .. NELBO: 12258.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 5432.71 .. NELBO: 5433.16
****************************************************************************************************
Validation loss decreased (10905.655273 --> 10866.329102).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.64 .. Rec_loss: 12211.11 .. NELBO: 12211.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5410.14 .. NELBO: 5410.22
****************************************************************************************************
Validation loss decreased (10866.329102 --> 10820.433594).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12141.95 .. NELBO: 12142.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5377.74 .. NELBO: 5377.77
****************************************************************************************************
Validation loss decreased (10820.433594 --> 10755.530273).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 12045.66 .. NELBO: 12045.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5341.23 .. NELBO: 5341.25
****************************************************************************************************
Validation loss decreased (10755.530273 --> 10682.497070).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11937.75 .. NELBO: 11937.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.33 .. NELBO: 5311.35
****************************************************************************************************
Validation loss decreased (10682.497070 --> 10622.708984).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11843.34 .. NELBO: 11843.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.48 .. NELBO: 5300.5
****************************************************************************************************
Validation loss decreased (10622.708984 --> 10601.003906).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11789.88 .. NELBO: 11789.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.95 .. NELBO: 5312.97
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.58 .. NELBO: 11781.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.21 .. NELBO: 5336.23
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.69 .. NELBO: 11793.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.5 .. NELBO: 5351.52
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.03 .. NELBO: 11796.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.03 .. NELBO: 5353.05
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11784.23 .. NELBO: 11784.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.86 .. NELBO: 5346.88
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06225122465533978, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=99, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=99, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=99, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 93.62 .. Rec_loss: 12264.53 .. NELBO: 12358.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.86 .. Rec_loss: 5444.52 .. NELBO: 5453.38
****************************************************************************************************
Validation loss decreased (inf --> 10906.760742).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 9.57 .. Rec_loss: 12250.17 .. NELBO: 12259.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.4 .. Rec_loss: 5433.33 .. NELBO: 5433.73
****************************************************************************************************
Validation loss decreased (10906.760742 --> 10867.457031).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.57 .. Rec_loss: 12213.61 .. NELBO: 12214.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5411.6 .. NELBO: 5411.66
****************************************************************************************************
Validation loss decreased (10867.457031 --> 10823.331055).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12146.53 .. NELBO: 12146.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5380.07 .. NELBO: 5380.09
****************************************************************************************************
Validation loss decreased (10823.331055 --> 10760.194336).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12052.79 .. NELBO: 12052.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5343.96 .. NELBO: 5343.98
****************************************************************************************************
Validation loss decreased (10760.194336 --> 10687.962891).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11946.53 .. NELBO: 11946.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.34 .. NELBO: 5313.36
****************************************************************************************************
Validation loss decreased (10687.962891 --> 10626.709961).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11850.38 .. NELBO: 11850.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.47 .. NELBO: 5300.49
****************************************************************************************************
Validation loss decreased (10626.709961 --> 10600.979492).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.87 .. NELBO: 11792.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.78 .. NELBO: 5310.8
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.74 .. NELBO: 11780.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5333.66 .. NELBO: 5333.68
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.31 .. NELBO: 11792.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.36 .. NELBO: 5350.38
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.56 .. NELBO: 11796.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.35 .. NELBO: 5353.37
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11786.05 .. NELBO: 11786.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.72 .. NELBO: 5347.74
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06225122465533978, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=99, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=99, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=99, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 101.3 .. Rec_loss: 12264.11 .. NELBO: 12365.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 9.0 .. Rec_loss: 5444.28 .. NELBO: 5453.28
****************************************************************************************************
Validation loss decreased (inf --> 10906.551758).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 9.79 .. Rec_loss: 12248.8 .. NELBO: 12258.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.53 .. Rec_loss: 5432.47 .. NELBO: 5433.0
****************************************************************************************************
Validation loss decreased (10906.551758 --> 10865.991211).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.76 .. Rec_loss: 12209.94 .. NELBO: 12210.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 5409.98 .. NELBO: 5410.08
****************************************************************************************************
Validation loss decreased (10865.991211 --> 10820.154297).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.15 .. Rec_loss: 12140.71 .. NELBO: 12140.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5377.77 .. NELBO: 5377.81
****************************************************************************************************
Validation loss decreased (10820.154297 --> 10755.606445).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 12044.6 .. NELBO: 12044.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5341.5 .. NELBO: 5341.53
****************************************************************************************************
Validation loss decreased (10755.606445 --> 10683.045898).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11937.23 .. NELBO: 11937.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5311.7 .. NELBO: 5311.73
****************************************************************************************************
Validation loss decreased (10683.045898 --> 10623.453125).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11843.3 .. NELBO: 11843.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5300.65 .. NELBO: 5300.68
****************************************************************************************************
Validation loss decreased (10623.453125 --> 10601.359375).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11789.16 .. NELBO: 11789.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5312.8 .. NELBO: 5312.83
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11780.7 .. NELBO: 11780.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5336.09 .. NELBO: 5336.12
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11793.41 .. NELBO: 11793.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5351.75 .. NELBO: 5351.78
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11796.45 .. NELBO: 11796.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.59 .. NELBO: 5353.61
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11784.91 .. NELBO: 11784.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.47 .. NELBO: 5347.49
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  137
model: ETM(
  (t_drop): Dropout(p=0.06108922247649057, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=80, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=80, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=80, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.33 .. Rec_loss: 12263.78 .. NELBO: 12264.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.93 .. Rec_loss: 5443.1 .. NELBO: 5444.03
****************************************************************************************************
Validation loss decreased (inf --> 10888.065430).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.72 .. Rec_loss: 12243.49 .. NELBO: 12245.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5427.26 .. NELBO: 5427.28
****************************************************************************************************
Validation loss decreased (10888.065430 --> 10854.550781).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.21 .. Rec_loss: 12192.92 .. NELBO: 12193.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.25 .. Rec_loss: 5399.84 .. NELBO: 5400.09
****************************************************************************************************
Validation loss decreased (10854.550781 --> 10800.180664).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.4 .. Rec_loss: 12110.95 .. NELBO: 12111.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.15 .. Rec_loss: 5363.99 .. NELBO: 5364.14
****************************************************************************************************
Validation loss decreased (10800.180664 --> 10728.287109).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.58 .. Rec_loss: 12005.29 .. NELBO: 12005.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.28 .. Rec_loss: 5327.72 .. NELBO: 5329.0
****************************************************************************************************
Validation loss decreased (10728.287109 --> 10657.998047).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 2.03 .. Rec_loss: 11897.24 .. NELBO: 11899.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.34 .. Rec_loss: 5304.4 .. NELBO: 5304.74
****************************************************************************************************
Validation loss decreased (10657.998047 --> 10609.477539).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.6 .. Rec_loss: 11818.31 .. NELBO: 11818.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 5302.77 .. NELBO: 5302.89
****************************************************************************************************
Validation loss decreased (10609.477539 --> 10605.791992).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 11783.08 .. NELBO: 11783.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.3 .. Rec_loss: 5320.46 .. NELBO: 5320.76
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.74 .. Rec_loss: 11785.1 .. NELBO: 11785.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.49 .. Rec_loss: 5341.07 .. NELBO: 5341.56
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 1.8 .. Rec_loss: 11792.71 .. NELBO: 11794.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.34 .. Rec_loss: 5349.3 .. NELBO: 5350.64
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 2.07 .. Rec_loss: 11787.19 .. NELBO: 11789.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.8 .. Rec_loss: 5346.24 .. NELBO: 5348.04
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 4.16 .. Rec_loss: 11771.48 .. NELBO: 11775.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.18 .. Rec_loss: 5338.23 .. NELBO: 5341.41
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06108922247649057, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=80, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=80, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=80, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.28 .. Rec_loss: 12263.7 .. NELBO: 12263.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.24 .. Rec_loss: 5443.0 .. NELBO: 5444.24
****************************************************************************************************
Validation loss decreased (inf --> 10888.494141).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.79 .. Rec_loss: 12243.48 .. NELBO: 12245.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5427.33 .. NELBO: 5427.35
****************************************************************************************************
Validation loss decreased (10888.494141 --> 10854.702148).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.36 .. Rec_loss: 12193.44 .. NELBO: 12193.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.32 .. Rec_loss: 5399.99 .. NELBO: 5400.31
****************************************************************************************************
Validation loss decreased (10854.702148 --> 10800.622070).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.46 .. Rec_loss: 12110.98 .. NELBO: 12111.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.44 .. Rec_loss: 5364.16 .. NELBO: 5364.6
****************************************************************************************************
Validation loss decreased (10800.622070 --> 10729.198242).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 1.69 .. Rec_loss: 12005.42 .. NELBO: 12007.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.21 .. Rec_loss: 5327.65 .. NELBO: 5329.86
****************************************************************************************************
Validation loss decreased (10729.198242 --> 10659.724609).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 2.69 .. Rec_loss: 11898.6 .. NELBO: 11901.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.21 .. Rec_loss: 5304.42 .. NELBO: 5304.63
****************************************************************************************************
Validation loss decreased (10659.724609 --> 10609.268555).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.6 .. Rec_loss: 11818.66 .. NELBO: 11819.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 5302.6 .. NELBO: 5303.03
****************************************************************************************************
Validation loss decreased (10609.268555 --> 10606.051758).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.72 .. Rec_loss: 11782.95 .. NELBO: 11783.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5320.54 .. NELBO: 5320.58
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 11785.07 .. NELBO: 11785.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.08 .. Rec_loss: 5340.85 .. NELBO: 5341.93
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 1.91 .. Rec_loss: 11792.57 .. NELBO: 11794.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.36 .. Rec_loss: 5349.65 .. NELBO: 5351.01
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 2.69 .. Rec_loss: 11786.46 .. NELBO: 11789.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.44 .. Rec_loss: 5345.13 .. NELBO: 5348.57
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 6.94 .. Rec_loss: 11769.12 .. NELBO: 11776.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.64 .. Rec_loss: 5340.03 .. NELBO: 5342.67
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06108922247649057, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=80, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=80, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=80, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.33 .. Rec_loss: 12263.76 .. NELBO: 12264.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.09 .. Rec_loss: 5442.99 .. NELBO: 5444.08
****************************************************************************************************
Validation loss decreased (inf --> 10888.164062).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.51 .. Rec_loss: 12243.35 .. NELBO: 12244.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5427.26 .. NELBO: 5427.28
****************************************************************************************************
Validation loss decreased (10888.164062 --> 10854.560547).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.4 .. Rec_loss: 12192.94 .. NELBO: 12193.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.33 .. Rec_loss: 5399.95 .. NELBO: 5400.28
****************************************************************************************************
Validation loss decreased (10854.560547 --> 10800.546875).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.51 .. Rec_loss: 12110.98 .. NELBO: 12111.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 5364.27 .. NELBO: 5364.65
****************************************************************************************************
Validation loss decreased (10800.546875 --> 10729.291016).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 1.18 .. Rec_loss: 12005.8 .. NELBO: 12006.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.6 .. Rec_loss: 5328.08 .. NELBO: 5329.68
****************************************************************************************************
Validation loss decreased (10729.291016 --> 10659.364258).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 1.99 .. Rec_loss: 11899.46 .. NELBO: 11901.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.18 .. Rec_loss: 5304.71 .. NELBO: 5304.89
****************************************************************************************************
Validation loss decreased (10659.364258 --> 10609.774414).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.55 .. Rec_loss: 11819.78 .. NELBO: 11820.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.34 .. Rec_loss: 5302.65 .. NELBO: 5302.99
****************************************************************************************************
Validation loss decreased (10609.774414 --> 10605.980469).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.5 .. Rec_loss: 11783.77 .. NELBO: 11784.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.2 .. Rec_loss: 5320.13 .. NELBO: 5320.33
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.49 .. Rec_loss: 11785.18 .. NELBO: 11785.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.46 .. Rec_loss: 5340.88 .. NELBO: 5341.34
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.7 .. Rec_loss: 11794.08 .. NELBO: 11794.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.48 .. Rec_loss: 5350.17 .. NELBO: 5350.65
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 1.15 .. Rec_loss: 11789.01 .. NELBO: 11790.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.97 .. Rec_loss: 5346.29 .. NELBO: 5348.26
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 3.72 .. Rec_loss: 11772.73 .. NELBO: 11776.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.12 .. Rec_loss: 5340.72 .. NELBO: 5341.84
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  138
model: ETM(
  (t_drop): Dropout(p=0.06136406371717977, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=76, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=76, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=76, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 81.08 .. Rec_loss: 12263.8 .. NELBO: 12344.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.78 .. Rec_loss: 5443.91 .. NELBO: 5451.69
****************************************************************************************************
Validation loss decreased (inf --> 10903.392578).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.46 .. Rec_loss: 12247.73 .. NELBO: 12256.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.41 .. Rec_loss: 5431.34 .. NELBO: 5431.75
****************************************************************************************************
Validation loss decreased (10903.392578 --> 10863.512695).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.59 .. Rec_loss: 12206.29 .. NELBO: 12206.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5407.63 .. NELBO: 5407.69
****************************************************************************************************
Validation loss decreased (10863.512695 --> 10815.388672).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12133.67 .. NELBO: 12133.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5374.48 .. NELBO: 5374.5
****************************************************************************************************
Validation loss decreased (10815.388672 --> 10748.995117).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12035.92 .. NELBO: 12035.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5338.11 .. NELBO: 5338.12
****************************************************************************************************
Validation loss decreased (10748.995117 --> 10676.245117).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11928.27 .. NELBO: 11928.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5309.45 .. NELBO: 5309.46
****************************************************************************************************
Validation loss decreased (10676.245117 --> 10618.924805).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11836.47 .. NELBO: 11836.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.51 .. NELBO: 5300.52
****************************************************************************************************
Validation loss decreased (10618.924805 --> 10601.046875).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11786.68 .. NELBO: 11786.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5314.35 .. NELBO: 5314.36
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.55 .. NELBO: 11781.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5337.53 .. NELBO: 5337.54
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11793.85 .. NELBO: 11793.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5351.99 .. NELBO: 5352.0
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.33 .. NELBO: 11795.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5352.96 .. NELBO: 5352.97
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11783.12 .. NELBO: 11783.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5346.64 .. NELBO: 5346.65
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06136406371717977, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=76, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=76, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=76, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 71.12 .. Rec_loss: 12264.48 .. NELBO: 12335.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.33 .. Rec_loss: 5444.29 .. NELBO: 5451.62
****************************************************************************************************
Validation loss decreased (inf --> 10903.226562).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.01 .. Rec_loss: 12249.04 .. NELBO: 12257.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.35 .. Rec_loss: 5432.23 .. NELBO: 5432.58
****************************************************************************************************
Validation loss decreased (10903.226562 --> 10865.167969).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.5 .. Rec_loss: 12209.58 .. NELBO: 12210.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5409.21 .. NELBO: 5409.27
****************************************************************************************************
Validation loss decreased (10865.167969 --> 10818.532227).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 12139.16 .. NELBO: 12139.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5376.47 .. NELBO: 5376.49
****************************************************************************************************
Validation loss decreased (10818.532227 --> 10752.974609).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12042.17 .. NELBO: 12042.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5339.97 .. NELBO: 5339.99
****************************************************************************************************
Validation loss decreased (10752.974609 --> 10679.962891).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11934.21 .. NELBO: 11934.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5310.53 .. NELBO: 5310.54
****************************************************************************************************
Validation loss decreased (10679.962891 --> 10621.094727).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11841.17 .. NELBO: 11841.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.43 .. NELBO: 5300.44
****************************************************************************************************
Validation loss decreased (10621.094727 --> 10600.892578).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11788.67 .. NELBO: 11788.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5313.45 .. NELBO: 5313.46
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.86 .. NELBO: 11781.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.74 .. NELBO: 5336.76
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11793.9 .. NELBO: 11793.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.78 .. NELBO: 5351.8
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.86 .. NELBO: 11795.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.15 .. NELBO: 5353.16
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11783.76 .. NELBO: 11783.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5346.94 .. NELBO: 5346.95
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06136406371717977, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=76, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=76, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=76, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 82.45 .. Rec_loss: 12264.58 .. NELBO: 12347.03
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.4 .. Rec_loss: 5444.43 .. NELBO: 5451.83
****************************************************************************************************
Validation loss decreased (inf --> 10903.654297).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.02 .. Rec_loss: 12250.11 .. NELBO: 12258.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.42 .. Rec_loss: 5433.16 .. NELBO: 5433.58
****************************************************************************************************
Validation loss decreased (10903.654297 --> 10867.167969).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.6 .. Rec_loss: 12212.99 .. NELBO: 12213.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5411.3 .. NELBO: 5411.37
****************************************************************************************************
Validation loss decreased (10867.167969 --> 10822.748047).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12145.49 .. NELBO: 12145.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5379.54 .. NELBO: 5379.57
****************************************************************************************************
Validation loss decreased (10822.748047 --> 10759.127930).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12051.49 .. NELBO: 12051.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5343.17 .. NELBO: 5343.19
****************************************************************************************************
Validation loss decreased (10759.127930 --> 10686.383789).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11944.08 .. NELBO: 11944.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.52 .. NELBO: 5312.54
****************************************************************************************************
Validation loss decreased (10686.383789 --> 10625.071289).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11848.3 .. NELBO: 11848.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.05 .. NELBO: 5300.07
****************************************************************************************************
Validation loss decreased (10625.071289 --> 10600.147461).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11790.31 .. NELBO: 11790.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.12 .. NELBO: 5311.14
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.3 .. NELBO: 11780.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5334.51 .. NELBO: 5334.53
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.25 .. NELBO: 11792.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.21 .. NELBO: 5351.23
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.51 .. NELBO: 11796.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.96 .. NELBO: 5353.98
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11785.72 .. NELBO: 11785.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5348.17 .. NELBO: 5348.19
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  139
model: ETM(
  (t_drop): Dropout(p=0.04620270673046688, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=73, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=73, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=73, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 81.51 .. Rec_loss: 12263.85 .. NELBO: 12345.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.21 .. Rec_loss: 5444.26 .. NELBO: 5451.47
****************************************************************************************************
Validation loss decreased (inf --> 10902.936523).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.76 .. Rec_loss: 12248.91 .. NELBO: 12256.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.37 .. Rec_loss: 5432.58 .. NELBO: 5432.95
****************************************************************************************************
Validation loss decreased (10902.936523 --> 10865.908203).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.54 .. Rec_loss: 12210.29 .. NELBO: 12210.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5410.43 .. NELBO: 5410.5
****************************************************************************************************
Validation loss decreased (10865.908203 --> 10821.001953).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12142.42 .. NELBO: 12142.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5378.63 .. NELBO: 5378.66
****************************************************************************************************
Validation loss decreased (10821.001953 --> 10757.302734).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12047.65 .. NELBO: 12047.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5342.55 .. NELBO: 5342.57
****************************************************************************************************
Validation loss decreased (10757.302734 --> 10685.138672).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11940.31 .. NELBO: 11940.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.43 .. NELBO: 5312.45
****************************************************************************************************
Validation loss decreased (10685.138672 --> 10624.901367).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11845.95 .. NELBO: 11845.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.5 .. NELBO: 5300.52
****************************************************************************************************
Validation loss decreased (10624.901367 --> 10601.033203).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11789.71 .. NELBO: 11789.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.71 .. NELBO: 5311.73
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11779.62 .. NELBO: 11779.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5334.88 .. NELBO: 5334.9
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.14 .. NELBO: 11792.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.3 .. NELBO: 5351.32
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.47 .. NELBO: 11796.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.92 .. NELBO: 5353.94
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11785.87 .. NELBO: 11785.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5348.06 .. NELBO: 5348.08
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.04620270673046688, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=73, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=73, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=73, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 85.44 .. Rec_loss: 12264.16 .. NELBO: 12349.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.97 .. Rec_loss: 5443.83 .. NELBO: 5451.8
****************************************************************************************************
Validation loss decreased (inf --> 10903.594727).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.59 .. Rec_loss: 12247.69 .. NELBO: 12256.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.44 .. Rec_loss: 5431.58 .. NELBO: 5432.02
****************************************************************************************************
Validation loss decreased (10903.594727 --> 10864.035156).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.63 .. Rec_loss: 12207.95 .. NELBO: 12208.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5408.58 .. NELBO: 5408.66
****************************************************************************************************
Validation loss decreased (10864.035156 --> 10817.327148).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12138.0 .. NELBO: 12138.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5375.9 .. NELBO: 5375.93
****************************************************************************************************
Validation loss decreased (10817.327148 --> 10751.861328).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12041.59 .. NELBO: 12041.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5339.51 .. NELBO: 5339.53
****************************************************************************************************
Validation loss decreased (10751.861328 --> 10679.055664).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11932.72 .. NELBO: 11932.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.17 .. NELBO: 5310.19
****************************************************************************************************
Validation loss decreased (10679.055664 --> 10620.375000).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11840.64 .. NELBO: 11840.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.08 .. NELBO: 5300.1
****************************************************************************************************
Validation loss decreased (10620.375000 --> 10600.193359).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11788.2 .. NELBO: 11788.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.06 .. NELBO: 5313.08
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.39 .. NELBO: 11781.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.45 .. NELBO: 5336.47
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.49 .. NELBO: 11793.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.74 .. NELBO: 5351.76
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.0 .. NELBO: 11796.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.23 .. NELBO: 5353.25
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11783.78 .. NELBO: 11783.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.06 .. NELBO: 5347.08
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.04620270673046688, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=73, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=73, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=73, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 90.3 .. Rec_loss: 12264.19 .. NELBO: 12354.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.93 .. Rec_loss: 5444.2 .. NELBO: 5452.13
****************************************************************************************************
Validation loss decreased (inf --> 10904.262695).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.51 .. Rec_loss: 12249.02 .. NELBO: 12257.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 5432.91 .. NELBO: 5433.36
****************************************************************************************************
Validation loss decreased (10904.262695 --> 10866.724609).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.66 .. Rec_loss: 12211.66 .. NELBO: 12212.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5411.14 .. NELBO: 5411.22
****************************************************************************************************
Validation loss decreased (10866.724609 --> 10822.445312).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12145.26 .. NELBO: 12145.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5379.78 .. NELBO: 5379.8
****************************************************************************************************
Validation loss decreased (10822.445312 --> 10759.611328).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12051.76 .. NELBO: 12051.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5343.91 .. NELBO: 5343.93
****************************************************************************************************
Validation loss decreased (10759.611328 --> 10687.857422).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11945.23 .. NELBO: 11945.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5313.36 .. NELBO: 5313.37
****************************************************************************************************
Validation loss decreased (10687.857422 --> 10626.750977).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11849.77 .. NELBO: 11849.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.31 .. NELBO: 5300.32
****************************************************************************************************
Validation loss decreased (10626.750977 --> 10600.650391).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11791.52 .. NELBO: 11791.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5310.39 .. NELBO: 5310.4
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11779.29 .. NELBO: 11779.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5333.39 .. NELBO: 5333.4
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11791.59 .. NELBO: 11791.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5350.52 .. NELBO: 5350.53
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.51 .. NELBO: 11796.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.83 .. NELBO: 5353.84
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11786.13 .. NELBO: 11786.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5348.37 .. NELBO: 5348.38
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  140
model: ETM(
  (t_drop): Dropout(p=0.04622161566001642, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=59, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=59, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=59, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 71.44 .. Rec_loss: 12264.2 .. NELBO: 12335.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.36 .. Rec_loss: 5443.96 .. NELBO: 5451.32
****************************************************************************************************
Validation loss decreased (inf --> 10902.630859).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.84 .. Rec_loss: 12248.74 .. NELBO: 12256.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.35 .. Rec_loss: 5432.44 .. NELBO: 5432.79
****************************************************************************************************
Validation loss decreased (10902.630859 --> 10865.576172).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.51 .. Rec_loss: 12210.91 .. NELBO: 12211.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5410.43 .. NELBO: 5410.5
****************************************************************************************************
Validation loss decreased (10865.576172 --> 10820.983398).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12143.11 .. NELBO: 12143.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5378.87 .. NELBO: 5378.89
****************************************************************************************************
Validation loss decreased (10820.983398 --> 10757.786133).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12049.21 .. NELBO: 12049.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5342.99 .. NELBO: 5343.0
****************************************************************************************************
Validation loss decreased (10757.786133 --> 10686.000977).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11943.63 .. NELBO: 11943.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5312.69 .. NELBO: 5312.7
****************************************************************************************************
Validation loss decreased (10686.000977 --> 10625.414062).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11848.27 .. NELBO: 11848.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.14 .. NELBO: 5300.15
****************************************************************************************************
Validation loss decreased (10625.414062 --> 10600.301758).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11791.51 .. NELBO: 11791.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.68 .. NELBO: 5310.7
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11780.1 .. NELBO: 11780.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5333.74 .. NELBO: 5333.76
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11791.88 .. NELBO: 11791.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.49 .. NELBO: 5350.51
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.12 .. NELBO: 11796.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.48 .. NELBO: 5353.49
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11786.06 .. NELBO: 11786.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5347.88 .. NELBO: 5347.89
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.04622161566001642, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=59, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=59, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=59, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 67.73 .. Rec_loss: 12263.78 .. NELBO: 12331.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.89 .. Rec_loss: 5443.32 .. NELBO: 5450.21
****************************************************************************************************
Validation loss decreased (inf --> 10900.426758).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.53 .. Rec_loss: 12246.88 .. NELBO: 12254.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 5430.84 .. NELBO: 5431.22
****************************************************************************************************
Validation loss decreased (10900.426758 --> 10862.428711).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.54 .. Rec_loss: 12205.91 .. NELBO: 12206.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5407.33 .. NELBO: 5407.39
****************************************************************************************************
Validation loss decreased (10862.428711 --> 10814.779297).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 12134.48 .. NELBO: 12134.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5374.51 .. NELBO: 5374.53
****************************************************************************************************
Validation loss decreased (10814.779297 --> 10749.057617).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12037.38 .. NELBO: 12037.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5338.34 .. NELBO: 5338.35
****************************************************************************************************
Validation loss decreased (10749.057617 --> 10676.702148).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11930.02 .. NELBO: 11930.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5309.54 .. NELBO: 5309.55
****************************************************************************************************
Validation loss decreased (10676.702148 --> 10619.115234).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11838.42 .. NELBO: 11838.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.04 .. NELBO: 5300.05
****************************************************************************************************
Validation loss decreased (10619.115234 --> 10600.102539).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11787.82 .. NELBO: 11787.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.23 .. NELBO: 5313.25
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.6 .. NELBO: 11781.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.33 .. NELBO: 5336.35
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11793.65 .. NELBO: 11793.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.18 .. NELBO: 5351.2
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.1 .. NELBO: 11795.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.6 .. NELBO: 5352.62
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11783.03 .. NELBO: 11783.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5346.58 .. NELBO: 5346.59
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.04622161566001642, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=59, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=59, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=59, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 71.63 .. Rec_loss: 12263.83 .. NELBO: 12335.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.06 .. Rec_loss: 5443.77 .. NELBO: 5450.83
****************************************************************************************************
Validation loss decreased (inf --> 10901.662109).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.6 .. Rec_loss: 12247.94 .. NELBO: 12255.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 5432.16 .. NELBO: 5432.54
****************************************************************************************************
Validation loss decreased (10901.662109 --> 10865.088867).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.56 .. Rec_loss: 12210.34 .. NELBO: 12210.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5410.09 .. NELBO: 5410.16
****************************************************************************************************
Validation loss decreased (10865.088867 --> 10820.333008).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12142.17 .. NELBO: 12142.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5378.32 .. NELBO: 5378.34
****************************************************************************************************
Validation loss decreased (10820.333008 --> 10756.693359).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12048.07 .. NELBO: 12048.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5342.21 .. NELBO: 5342.22
****************************************************************************************************
Validation loss decreased (10756.693359 --> 10684.454102).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11940.17 .. NELBO: 11940.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5312.02 .. NELBO: 5312.03
****************************************************************************************************
Validation loss decreased (10684.454102 --> 10624.074219).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11846.02 .. NELBO: 11846.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.07 .. NELBO: 5300.08
****************************************************************************************************
Validation loss decreased (10624.074219 --> 10600.173828).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11789.52 .. NELBO: 11789.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5311.47 .. NELBO: 5311.48
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11779.41 .. NELBO: 11779.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5334.93 .. NELBO: 5334.94
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11792.53 .. NELBO: 11792.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5351.44 .. NELBO: 5351.45
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.68 .. NELBO: 11796.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5354.02 .. NELBO: 5354.03
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11785.48 .. NELBO: 11785.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5348.16 .. NELBO: 5348.17
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  141
model: ETM(
  (t_drop): Dropout(p=0.05604064598697914, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=62, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=62, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=62, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 76.93 .. Rec_loss: 12263.99 .. NELBO: 12340.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.57 .. Rec_loss: 5443.7 .. NELBO: 5451.27
****************************************************************************************************
Validation loss decreased (inf --> 10902.537109).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.2 .. Rec_loss: 12246.75 .. NELBO: 12254.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.46 .. Rec_loss: 5430.55 .. NELBO: 5431.01
****************************************************************************************************
Validation loss decreased (10902.537109 --> 10862.006836).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.68 .. Rec_loss: 12204.12 .. NELBO: 12204.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5406.4 .. NELBO: 5406.49
****************************************************************************************************
Validation loss decreased (10862.006836 --> 10812.971680).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 12130.78 .. NELBO: 12130.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5372.74 .. NELBO: 5372.77
****************************************************************************************************
Validation loss decreased (10812.971680 --> 10745.540039).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12031.15 .. NELBO: 12031.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.16 .. NELBO: 5336.18
****************************************************************************************************
Validation loss decreased (10745.540039 --> 10672.353516).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11922.68 .. NELBO: 11922.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5307.99 .. NELBO: 5308.01
****************************************************************************************************
Validation loss decreased (10672.353516 --> 10616.005859).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11831.87 .. NELBO: 11831.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.39 .. NELBO: 5300.41
****************************************************************************************************
Validation loss decreased (10616.005859 --> 10600.826172).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11784.66 .. NELBO: 11784.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5315.72 .. NELBO: 5315.75
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 11782.26 .. NELBO: 11782.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5339.29 .. NELBO: 5339.32
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11794.81 .. NELBO: 11794.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.98 .. NELBO: 5353.0
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.02 .. NELBO: 11795.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.14 .. NELBO: 5353.15
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11782.23 .. NELBO: 11782.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5346.5 .. NELBO: 5346.51
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05604064598697914, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=62, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=62, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=62, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 82.91 .. Rec_loss: 12263.56 .. NELBO: 12346.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.98 .. Rec_loss: 5443.24 .. NELBO: 5451.22
****************************************************************************************************
Validation loss decreased (inf --> 10902.434570).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.64 .. Rec_loss: 12245.79 .. NELBO: 12254.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.5 .. Rec_loss: 5430.32 .. NELBO: 5430.82
****************************************************************************************************
Validation loss decreased (10902.434570 --> 10861.630859).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.72 .. Rec_loss: 12203.35 .. NELBO: 12204.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5406.4 .. NELBO: 5406.49
****************************************************************************************************
Validation loss decreased (10861.630859 --> 10812.981445).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 12129.92 .. NELBO: 12130.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5373.15 .. NELBO: 5373.18
****************************************************************************************************
Validation loss decreased (10812.981445 --> 10746.340820).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12031.61 .. NELBO: 12031.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.91 .. NELBO: 5336.93
****************************************************************************************************
Validation loss decreased (10746.340820 --> 10673.856445).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11923.89 .. NELBO: 11923.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5308.78 .. NELBO: 5308.79
****************************************************************************************************
Validation loss decreased (10673.856445 --> 10617.583984).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11833.5 .. NELBO: 11833.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.73 .. NELBO: 5300.74
****************************************************************************************************
Validation loss decreased (10617.583984 --> 10601.493164).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11785.23 .. NELBO: 11785.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5315.37 .. NELBO: 5315.38
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.54 .. NELBO: 11781.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5338.65 .. NELBO: 5338.66
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11794.11 .. NELBO: 11794.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5352.6 .. NELBO: 5352.61
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.88 .. NELBO: 11795.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5352.99 .. NELBO: 5353.0
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11782.98 .. NELBO: 11783.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5346.41 .. NELBO: 5346.42
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05604064598697914, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=62, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=62, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=62, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 71.27 .. Rec_loss: 12263.86 .. NELBO: 12335.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.97 .. Rec_loss: 5443.77 .. NELBO: 5450.74
****************************************************************************************************
Validation loss decreased (inf --> 10901.474609).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.38 .. Rec_loss: 12247.66 .. NELBO: 12255.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.33 .. Rec_loss: 5431.47 .. NELBO: 5431.8
****************************************************************************************************
Validation loss decreased (10901.474609 --> 10863.584961).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.49 .. Rec_loss: 12207.46 .. NELBO: 12207.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5408.45 .. NELBO: 5408.52
****************************************************************************************************
Validation loss decreased (10863.584961 --> 10817.040039).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12136.84 .. NELBO: 12136.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5375.88 .. NELBO: 5375.9
****************************************************************************************************
Validation loss decreased (10817.040039 --> 10751.806641).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12040.16 .. NELBO: 12040.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5339.63 .. NELBO: 5339.65
****************************************************************************************************
Validation loss decreased (10751.806641 --> 10679.290039).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11932.47 .. NELBO: 11932.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.38 .. NELBO: 5310.4
****************************************************************************************************
Validation loss decreased (10679.290039 --> 10620.788086).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11839.54 .. NELBO: 11839.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.39 .. NELBO: 5300.41
****************************************************************************************************
Validation loss decreased (10620.788086 --> 10600.810547).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11787.45 .. NELBO: 11787.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.54 .. NELBO: 5313.56
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11780.51 .. NELBO: 11780.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.07 .. NELBO: 5337.09
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11793.37 .. NELBO: 11793.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.37 .. NELBO: 5352.39
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.07 .. NELBO: 11796.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.82 .. NELBO: 5353.84
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11784.3 .. NELBO: 11784.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.55 .. NELBO: 5347.57
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  142
model: ETM(
  (t_drop): Dropout(p=0.06134726027017264, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=66, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=66, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=66, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 71.51 .. Rec_loss: 12263.87 .. NELBO: 12335.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.15 .. Rec_loss: 5443.46 .. NELBO: 5450.61
****************************************************************************************************
Validation loss decreased (inf --> 10901.217773).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.74 .. Rec_loss: 12246.91 .. NELBO: 12254.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 5431.0 .. NELBO: 5431.38
****************************************************************************************************
Validation loss decreased (10901.217773 --> 10862.762695).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.53 .. Rec_loss: 12206.7 .. NELBO: 12207.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5407.77 .. NELBO: 5407.82
****************************************************************************************************
Validation loss decreased (10862.762695 --> 10815.639648).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 12135.9 .. NELBO: 12135.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5375.0 .. NELBO: 5375.02
****************************************************************************************************
Validation loss decreased (10815.639648 --> 10750.034180).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12039.33 .. NELBO: 12039.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5338.66 .. NELBO: 5338.67
****************************************************************************************************
Validation loss decreased (10750.034180 --> 10677.348633).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11932.08 .. NELBO: 11932.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5309.48 .. NELBO: 5309.49
****************************************************************************************************
Validation loss decreased (10677.348633 --> 10618.986328).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11839.45 .. NELBO: 11839.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5299.66 .. NELBO: 5299.67
****************************************************************************************************
Validation loss decreased (10618.986328 --> 10599.353516).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11787.34 .. NELBO: 11787.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5313.0 .. NELBO: 5313.01
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.17 .. NELBO: 11781.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5336.65 .. NELBO: 5336.66
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11793.73 .. NELBO: 11793.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5351.99 .. NELBO: 5352.0
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.66 .. NELBO: 11795.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.46 .. NELBO: 5353.47
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11783.81 .. NELBO: 11783.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5347.28 .. NELBO: 5347.29
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06134726027017264, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=66, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=66, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=66, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 69.51 .. Rec_loss: 12264.01 .. NELBO: 12333.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.47 .. Rec_loss: 5443.99 .. NELBO: 5450.46
****************************************************************************************************
Validation loss decreased (inf --> 10900.912109).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.03 .. Rec_loss: 12247.93 .. NELBO: 12254.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.36 .. Rec_loss: 5431.37 .. NELBO: 5431.73
****************************************************************************************************
Validation loss decreased (10900.912109 --> 10863.461914).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.52 .. Rec_loss: 12206.57 .. NELBO: 12207.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5407.73 .. NELBO: 5407.79
****************************************************************************************************
Validation loss decreased (10863.461914 --> 10815.584961).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 12133.81 .. NELBO: 12133.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5374.51 .. NELBO: 5374.53
****************************************************************************************************
Validation loss decreased (10815.584961 --> 10749.056641).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12035.92 .. NELBO: 12035.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5338.04 .. NELBO: 5338.05
****************************************************************************************************
Validation loss decreased (10749.056641 --> 10676.114258).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11928.0 .. NELBO: 11928.03
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5309.43 .. NELBO: 5309.44
****************************************************************************************************
Validation loss decreased (10676.114258 --> 10618.881836).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11835.93 .. NELBO: 11835.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.69 .. NELBO: 5300.7
****************************************************************************************************
Validation loss decreased (10618.881836 --> 10601.404297).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11786.72 .. NELBO: 11786.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5314.71 .. NELBO: 5314.72
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.83 .. NELBO: 11781.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5337.92 .. NELBO: 5337.93
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11794.34 .. NELBO: 11794.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5352.24 .. NELBO: 5352.25
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.38 .. NELBO: 11795.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.05 .. NELBO: 5353.06
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11783.2 .. NELBO: 11783.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5346.65 .. NELBO: 5346.66
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06134726027017264, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=66, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=66, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=66, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 67.8 .. Rec_loss: 12264.37 .. NELBO: 12332.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.46 .. Rec_loss: 5443.98 .. NELBO: 5451.44
****************************************************************************************************
Validation loss decreased (inf --> 10902.872070).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.09 .. Rec_loss: 12247.97 .. NELBO: 12256.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.34 .. Rec_loss: 5431.17 .. NELBO: 5431.51
****************************************************************************************************
Validation loss decreased (10902.872070 --> 10863.010742).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.49 .. Rec_loss: 12206.63 .. NELBO: 12207.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5407.57 .. NELBO: 5407.63
****************************************************************************************************
Validation loss decreased (10863.010742 --> 10815.266602).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12134.88 .. NELBO: 12134.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5374.4 .. NELBO: 5374.43
****************************************************************************************************
Validation loss decreased (10815.266602 --> 10748.852539).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12037.34 .. NELBO: 12037.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.92 .. NELBO: 5337.94
****************************************************************************************************
Validation loss decreased (10748.852539 --> 10675.868164).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11929.3 .. NELBO: 11929.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5309.16 .. NELBO: 5309.18
****************************************************************************************************
Validation loss decreased (10675.868164 --> 10618.356445).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11837.29 .. NELBO: 11837.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.23 .. NELBO: 5300.25
****************************************************************************************************
Validation loss decreased (10618.356445 --> 10600.502930).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11787.66 .. NELBO: 11787.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5314.14 .. NELBO: 5314.16
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11782.24 .. NELBO: 11782.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.37 .. NELBO: 5337.39
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.93 .. NELBO: 11793.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.82 .. NELBO: 5351.84
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.35 .. NELBO: 11795.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.77 .. NELBO: 5352.79
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11782.88 .. NELBO: 11782.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.51 .. NELBO: 5346.53
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  143
model: ETM(
  (t_drop): Dropout(p=0.0604931523076708, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=52, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=52, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=52, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 67.32 .. Rec_loss: 12263.49 .. NELBO: 12330.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.77 .. Rec_loss: 5442.73 .. NELBO: 5449.5
****************************************************************************************************
Validation loss decreased (inf --> 10898.999023).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.2 .. Rec_loss: 12244.2 .. NELBO: 12251.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.31 .. Rec_loss: 5429.06 .. NELBO: 5429.37
****************************************************************************************************
Validation loss decreased (10898.999023 --> 10858.740234).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.46 .. Rec_loss: 12199.66 .. NELBO: 12200.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5404.62 .. NELBO: 5404.68
****************************************************************************************************
Validation loss decreased (10858.740234 --> 10809.351562).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 12126.06 .. NELBO: 12126.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5371.08 .. NELBO: 5371.1
****************************************************************************************************
Validation loss decreased (10809.351562 --> 10742.200195).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12026.39 .. NELBO: 12026.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5335.01 .. NELBO: 5335.02
****************************************************************************************************
Validation loss decreased (10742.200195 --> 10670.052734).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11919.1 .. NELBO: 11919.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5307.61 .. NELBO: 5307.62
****************************************************************************************************
Validation loss decreased (10670.052734 --> 10615.250977).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11830.03 .. NELBO: 11830.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.63 .. NELBO: 5300.64
****************************************************************************************************
Validation loss decreased (10615.250977 --> 10601.285156).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11784.64 .. NELBO: 11784.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5316.01 .. NELBO: 5316.02
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11782.12 .. NELBO: 11782.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5339.27 .. NELBO: 5339.28
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11794.75 .. NELBO: 11794.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5352.72 .. NELBO: 5352.73
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.84 .. NELBO: 11795.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5352.69 .. NELBO: 5352.7
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11782.17 .. NELBO: 11782.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5346.03 .. NELBO: 5346.04
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.0604931523076708, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=52, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=52, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=52, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 70.92 .. Rec_loss: 12263.68 .. NELBO: 12334.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.08 .. Rec_loss: 5443.21 .. NELBO: 5450.29
****************************************************************************************************
Validation loss decreased (inf --> 10900.574219).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.69 .. Rec_loss: 12246.55 .. NELBO: 12254.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.41 .. Rec_loss: 5431.34 .. NELBO: 5431.75
****************************************************************************************************
Validation loss decreased (10900.574219 --> 10863.499023).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.6 .. Rec_loss: 12207.18 .. NELBO: 12207.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5408.58 .. NELBO: 5408.66
****************************************************************************************************
Validation loss decreased (10863.499023 --> 10817.305664).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12136.96 .. NELBO: 12137.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5376.21 .. NELBO: 5376.23
****************************************************************************************************
Validation loss decreased (10817.305664 --> 10752.469727).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12040.55 .. NELBO: 12040.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5340.02 .. NELBO: 5340.03
****************************************************************************************************
Validation loss decreased (10752.469727 --> 10680.058594).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11934.05 .. NELBO: 11934.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5310.61 .. NELBO: 5310.62
****************************************************************************************************
Validation loss decreased (10680.058594 --> 10621.239258).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11840.19 .. NELBO: 11840.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.28 .. NELBO: 5300.29
****************************************************************************************************
Validation loss decreased (10621.239258 --> 10600.584961).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11787.4 .. NELBO: 11787.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5313.13 .. NELBO: 5313.14
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11780.47 .. NELBO: 11780.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5336.61 .. NELBO: 5336.62
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11792.98 .. NELBO: 11793.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5352.06 .. NELBO: 5352.07
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11797.05 .. NELBO: 11797.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.61 .. NELBO: 5353.62
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11784.58 .. NELBO: 11784.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5347.37 .. NELBO: 5347.38
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.0604931523076708, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=52, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=52, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=52, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 60.35 .. Rec_loss: 12264.15 .. NELBO: 12324.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.56 .. Rec_loss: 5443.6 .. NELBO: 5450.16
****************************************************************************************************
Validation loss decreased (inf --> 10900.319336).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.17 .. Rec_loss: 12247.11 .. NELBO: 12254.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 5431.25 .. NELBO: 5431.63
****************************************************************************************************
Validation loss decreased (10900.319336 --> 10863.243164).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.55 .. Rec_loss: 12206.42 .. NELBO: 12206.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5407.94 .. NELBO: 5408.02
****************************************************************************************************
Validation loss decreased (10863.243164 --> 10816.032227).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12135.55 .. NELBO: 12135.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5375.23 .. NELBO: 5375.26
****************************************************************************************************
Validation loss decreased (10816.032227 --> 10750.514648).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 12038.57 .. NELBO: 12038.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5339.11 .. NELBO: 5339.14
****************************************************************************************************
Validation loss decreased (10750.514648 --> 10678.279297).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11931.38 .. NELBO: 11931.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5310.16 .. NELBO: 5310.19
****************************************************************************************************
Validation loss decreased (10678.279297 --> 10620.372070).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11839.35 .. NELBO: 11839.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5300.25 .. NELBO: 5300.28
****************************************************************************************************
Validation loss decreased (10620.372070 --> 10600.557617).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 11788.23 .. NELBO: 11788.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5313.02 .. NELBO: 5313.06
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 11781.65 .. NELBO: 11781.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5336.02 .. NELBO: 5336.06
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 11793.32 .. NELBO: 11793.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5351.07 .. NELBO: 5351.11
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 11794.89 .. NELBO: 11794.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5352.66 .. NELBO: 5352.7
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 11784.04 .. NELBO: 11784.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5346.61 .. NELBO: 5346.64
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  144
model: ETM(
  (t_drop): Dropout(p=0.05977310301770208, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=81, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=81, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=81, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 84.41 .. Rec_loss: 12264.6 .. NELBO: 12349.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.76 .. Rec_loss: 5444.5 .. NELBO: 5452.26
****************************************************************************************************
Validation loss decreased (inf --> 10904.522461).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.36 .. Rec_loss: 12250.13 .. NELBO: 12258.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.42 .. Rec_loss: 5433.0 .. NELBO: 5433.42
****************************************************************************************************
Validation loss decreased (10904.522461 --> 10866.845703).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.61 .. Rec_loss: 12212.41 .. NELBO: 12213.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5410.9 .. NELBO: 5410.97
****************************************************************************************************
Validation loss decreased (10866.845703 --> 10821.942383).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12144.36 .. NELBO: 12144.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5378.99 .. NELBO: 5379.02
****************************************************************************************************
Validation loss decreased (10821.942383 --> 10758.025391).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12048.77 .. NELBO: 12048.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5342.71 .. NELBO: 5342.73
****************************************************************************************************
Validation loss decreased (10758.025391 --> 10685.459961).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11941.78 .. NELBO: 11941.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.45 .. NELBO: 5312.47
****************************************************************************************************
Validation loss decreased (10685.459961 --> 10624.930664).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11847.22 .. NELBO: 11847.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.55 .. NELBO: 5300.57
****************************************************************************************************
Validation loss decreased (10624.930664 --> 10601.137695).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11791.24 .. NELBO: 11791.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.89 .. NELBO: 5311.91
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.16 .. NELBO: 11781.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5334.94 .. NELBO: 5334.96
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.05 .. NELBO: 11793.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.88 .. NELBO: 5350.9
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.26 .. NELBO: 11796.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.09 .. NELBO: 5353.11
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11785.02 .. NELBO: 11785.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.22 .. NELBO: 5347.24
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05977310301770208, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=81, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=81, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=81, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 94.12 .. Rec_loss: 12264.28 .. NELBO: 12358.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.19 .. Rec_loss: 5444.25 .. NELBO: 5452.44
****************************************************************************************************
Validation loss decreased (inf --> 10904.883789).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.82 .. Rec_loss: 12249.26 .. NELBO: 12258.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.49 .. Rec_loss: 5432.81 .. NELBO: 5433.3
****************************************************************************************************
Validation loss decreased (10904.883789 --> 10866.585938).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.71 .. Rec_loss: 12211.73 .. NELBO: 12212.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5410.8 .. NELBO: 5410.89
****************************************************************************************************
Validation loss decreased (10866.585938 --> 10821.774414).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 12143.77 .. NELBO: 12143.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5379.01 .. NELBO: 5379.04
****************************************************************************************************
Validation loss decreased (10821.774414 --> 10758.080078).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12048.86 .. NELBO: 12048.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5342.82 .. NELBO: 5342.84
****************************************************************************************************
Validation loss decreased (10758.080078 --> 10685.685547).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11941.86 .. NELBO: 11941.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.52 .. NELBO: 5312.54
****************************************************************************************************
Validation loss decreased (10685.685547 --> 10625.070312).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11846.61 .. NELBO: 11846.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.43 .. NELBO: 5300.45
****************************************************************************************************
Validation loss decreased (10625.070312 --> 10600.906250).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11790.65 .. NELBO: 11790.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.62 .. NELBO: 5311.64
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.31 .. NELBO: 11780.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5334.78 .. NELBO: 5334.8
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.53 .. NELBO: 11792.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.13 .. NELBO: 5351.15
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.35 .. NELBO: 11796.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.68 .. NELBO: 5353.7
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11785.68 .. NELBO: 11785.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.86 .. NELBO: 5347.88
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05977310301770208, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=81, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=81, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=81, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 84.44 .. Rec_loss: 12264.18 .. NELBO: 12348.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.8 .. Rec_loss: 5443.81 .. NELBO: 5451.61
****************************************************************************************************
Validation loss decreased (inf --> 10903.235352).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.47 .. Rec_loss: 12247.82 .. NELBO: 12256.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.4 .. Rec_loss: 5431.7 .. NELBO: 5432.1
****************************************************************************************************
Validation loss decreased (10903.235352 --> 10864.195312).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.58 .. Rec_loss: 12208.22 .. NELBO: 12208.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5408.71 .. NELBO: 5408.78
****************************************************************************************************
Validation loss decreased (10864.195312 --> 10817.566406).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12138.06 .. NELBO: 12138.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5376.16 .. NELBO: 5376.19
****************************************************************************************************
Validation loss decreased (10817.566406 --> 10752.383789).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12041.13 .. NELBO: 12041.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5339.95 .. NELBO: 5339.97
****************************************************************************************************
Validation loss decreased (10752.383789 --> 10679.949219).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11934.0 .. NELBO: 11934.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.72 .. NELBO: 5310.74
****************************************************************************************************
Validation loss decreased (10679.949219 --> 10621.477539).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11841.2 .. NELBO: 11841.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.58 .. NELBO: 5300.6
****************************************************************************************************
Validation loss decreased (10621.477539 --> 10601.189453).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11788.65 .. NELBO: 11788.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.36 .. NELBO: 5313.38
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.47 .. NELBO: 11781.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.49 .. NELBO: 5336.51
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.52 .. NELBO: 11793.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.63 .. NELBO: 5351.65
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.65 .. NELBO: 11795.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.16 .. NELBO: 5353.18
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11784.26 .. NELBO: 11784.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.03 .. NELBO: 5347.05
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  145
model: ETM(
  (t_drop): Dropout(p=0.024126146927317998, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=62, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=62, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=62, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 89.46 .. Rec_loss: 12264.54 .. NELBO: 12354.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.47 .. Rec_loss: 5444.87 .. NELBO: 5452.34
****************************************************************************************************
Validation loss decreased (inf --> 10904.686523).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.07 .. Rec_loss: 12251.62 .. NELBO: 12259.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.54 .. Rec_loss: 5434.54 .. NELBO: 5435.08
****************************************************************************************************
Validation loss decreased (10904.686523 --> 10870.156250).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.79 .. Rec_loss: 12217.26 .. NELBO: 12218.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 5413.94 .. NELBO: 5414.04
****************************************************************************************************
Validation loss decreased (10870.156250 --> 10828.087891).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.15 .. Rec_loss: 12153.94 .. NELBO: 12154.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5383.29 .. NELBO: 5383.32
****************************************************************************************************
Validation loss decreased (10828.087891 --> 10766.637695).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12061.85 .. NELBO: 12061.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.24 .. NELBO: 5347.26
****************************************************************************************************
Validation loss decreased (10766.637695 --> 10694.513672).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11955.27 .. NELBO: 11955.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5315.4 .. NELBO: 5315.42
****************************************************************************************************
Validation loss decreased (10694.513672 --> 10630.840820).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11857.35 .. NELBO: 11857.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.32 .. NELBO: 5300.34
****************************************************************************************************
Validation loss decreased (10630.840820 --> 10600.671875).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11794.76 .. NELBO: 11794.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5308.88 .. NELBO: 5308.9
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11779.07 .. NELBO: 11779.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5331.93 .. NELBO: 5331.95
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11790.65 .. NELBO: 11790.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.17 .. NELBO: 5350.19
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11797.55 .. NELBO: 11797.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5354.39 .. NELBO: 5354.41
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11787.29 .. NELBO: 11787.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5349.15 .. NELBO: 5349.17
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.024126146927317998, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=62, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=62, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=62, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 78.09 .. Rec_loss: 12264.08 .. NELBO: 12342.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.06 .. Rec_loss: 5443.59 .. NELBO: 5450.65
****************************************************************************************************
Validation loss decreased (inf --> 10901.303711).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.61 .. Rec_loss: 12247.24 .. NELBO: 12254.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.44 .. Rec_loss: 5431.22 .. NELBO: 5431.66
****************************************************************************************************
Validation loss decreased (10901.303711 --> 10863.319336).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.63 .. Rec_loss: 12207.08 .. NELBO: 12207.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5408.12 .. NELBO: 5408.19
****************************************************************************************************
Validation loss decreased (10863.319336 --> 10816.377930).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12135.74 .. NELBO: 12135.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5375.6 .. NELBO: 5375.62
****************************************************************************************************
Validation loss decreased (10816.377930 --> 10751.242188).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12040.23 .. NELBO: 12040.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5339.51 .. NELBO: 5339.53
****************************************************************************************************
Validation loss decreased (10751.242188 --> 10679.044922).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11933.2 .. NELBO: 11933.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5310.39 .. NELBO: 5310.4
****************************************************************************************************
Validation loss decreased (10679.044922 --> 10620.812500).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11840.69 .. NELBO: 11840.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.3 .. NELBO: 5300.31
****************************************************************************************************
Validation loss decreased (10620.812500 --> 10600.629883).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11788.58 .. NELBO: 11788.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5313.06 .. NELBO: 5313.07
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.41 .. NELBO: 11781.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5336.18 .. NELBO: 5336.19
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11793.61 .. NELBO: 11793.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5351.38 .. NELBO: 5351.39
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.88 .. NELBO: 11795.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5352.96 .. NELBO: 5352.97
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11783.91 .. NELBO: 11783.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5346.89 .. NELBO: 5346.9
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.024126146927317998, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=62, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=62, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=62, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 73.2 .. Rec_loss: 12263.4 .. NELBO: 12336.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.22 .. Rec_loss: 5443.45 .. NELBO: 5450.67
****************************************************************************************************
Validation loss decreased (inf --> 10901.344727).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.79 .. Rec_loss: 12245.98 .. NELBO: 12253.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.41 .. Rec_loss: 5430.43 .. NELBO: 5430.84
****************************************************************************************************
Validation loss decreased (10901.344727 --> 10861.669922).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.59 .. Rec_loss: 12204.08 .. NELBO: 12204.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5406.61 .. NELBO: 5406.68
****************************************************************************************************
Validation loss decreased (10861.669922 --> 10813.367188).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12131.49 .. NELBO: 12131.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5373.36 .. NELBO: 5373.38
****************************************************************************************************
Validation loss decreased (10813.367188 --> 10746.763672).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12032.6 .. NELBO: 12032.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.0 .. NELBO: 5337.02
****************************************************************************************************
Validation loss decreased (10746.763672 --> 10674.027344).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11924.58 .. NELBO: 11924.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5308.61 .. NELBO: 5308.62
****************************************************************************************************
Validation loss decreased (10674.027344 --> 10617.253906).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11834.15 .. NELBO: 11834.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.33 .. NELBO: 5300.34
****************************************************************************************************
Validation loss decreased (10617.253906 --> 10600.682617).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11784.86 .. NELBO: 11784.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5314.98 .. NELBO: 5314.99
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11782.05 .. NELBO: 11782.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5338.52 .. NELBO: 5338.54
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11794.78 .. NELBO: 11794.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.71 .. NELBO: 5352.73
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.86 .. NELBO: 11795.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.19 .. NELBO: 5353.2
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11783.26 .. NELBO: 11783.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5346.54 .. NELBO: 5346.55
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  146
model: ETM(
  (t_drop): Dropout(p=0.056500779981751834, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 79.09 .. Rec_loss: 12264.44 .. NELBO: 12343.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.64 .. Rec_loss: 5444.14 .. NELBO: 5451.78
****************************************************************************************************
Validation loss decreased (inf --> 10903.563477).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.3 .. Rec_loss: 12248.93 .. NELBO: 12257.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 5432.15 .. NELBO: 5432.54
****************************************************************************************************
Validation loss decreased (10903.563477 --> 10865.083008).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.55 .. Rec_loss: 12209.78 .. NELBO: 12210.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5409.6 .. NELBO: 5409.67
****************************************************************************************************
Validation loss decreased (10865.083008 --> 10819.336914).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12140.67 .. NELBO: 12140.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5377.42 .. NELBO: 5377.45
****************************************************************************************************
Validation loss decreased (10819.336914 --> 10754.895508).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12045.43 .. NELBO: 12045.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5341.25 .. NELBO: 5341.27
****************************************************************************************************
Validation loss decreased (10754.895508 --> 10682.531250).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11938.33 .. NELBO: 11938.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.51 .. NELBO: 5311.53
****************************************************************************************************
Validation loss decreased (10682.531250 --> 10623.061523).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11845.06 .. NELBO: 11845.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.37 .. NELBO: 5300.39
****************************************************************************************************
Validation loss decreased (10623.061523 --> 10600.768555).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11790.4 .. NELBO: 11790.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.22 .. NELBO: 5312.24
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.13 .. NELBO: 11781.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.21 .. NELBO: 5335.23
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.04 .. NELBO: 11793.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.78 .. NELBO: 5350.8
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.08 .. NELBO: 11796.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.76 .. NELBO: 5352.78
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11784.45 .. NELBO: 11784.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.89 .. NELBO: 5346.91
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.056500779981751834, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 95.48 .. Rec_loss: 12264.08 .. NELBO: 12359.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.65 .. Rec_loss: 5444.0 .. NELBO: 5451.65
****************************************************************************************************
Validation loss decreased (inf --> 10903.314453).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.24 .. Rec_loss: 12248.59 .. NELBO: 12256.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.5 .. Rec_loss: 5432.15 .. NELBO: 5432.65
****************************************************************************************************
Validation loss decreased (10903.314453 --> 10865.284180).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.7 .. Rec_loss: 12209.38 .. NELBO: 12210.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5409.31 .. NELBO: 5409.39
****************************************************************************************************
Validation loss decreased (10865.284180 --> 10818.780273).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12138.8 .. NELBO: 12138.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5376.94 .. NELBO: 5376.97
****************************************************************************************************
Validation loss decreased (10818.780273 --> 10753.944336).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12043.36 .. NELBO: 12043.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5340.75 .. NELBO: 5340.77
****************************************************************************************************
Validation loss decreased (10753.944336 --> 10681.544922).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11936.44 .. NELBO: 11936.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.12 .. NELBO: 5311.14
****************************************************************************************************
Validation loss decreased (10681.544922 --> 10622.286133).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11843.58 .. NELBO: 11843.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.15 .. NELBO: 5300.17
****************************************************************************************************
Validation loss decreased (10622.286133 --> 10600.330078).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11789.11 .. NELBO: 11789.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.23 .. NELBO: 5312.25
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.68 .. NELBO: 11780.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.48 .. NELBO: 5335.5
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.97 .. NELBO: 11793.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.33 .. NELBO: 5351.35
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.22 .. NELBO: 11796.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.43 .. NELBO: 5353.45
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11785.0 .. NELBO: 11785.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.49 .. NELBO: 5347.51
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.056500779981751834, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=84, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=84, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=84, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 79.73 .. Rec_loss: 12264.54 .. NELBO: 12344.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.63 .. Rec_loss: 5444.44 .. NELBO: 5452.07
****************************************************************************************************
Validation loss decreased (inf --> 10904.146484).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.27 .. Rec_loss: 12249.52 .. NELBO: 12257.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.35 .. Rec_loss: 5432.62 .. NELBO: 5432.97
****************************************************************************************************
Validation loss decreased (10904.146484 --> 10865.953125).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.5 .. Rec_loss: 12211.02 .. NELBO: 12211.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5410.06 .. NELBO: 5410.12
****************************************************************************************************
Validation loss decreased (10865.953125 --> 10820.239258).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 12141.84 .. NELBO: 12141.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5377.68 .. NELBO: 5377.7
****************************************************************************************************
Validation loss decreased (10820.239258 --> 10755.406250).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12045.57 .. NELBO: 12045.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5341.17 .. NELBO: 5341.19
****************************************************************************************************
Validation loss decreased (10755.406250 --> 10682.374023).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11938.35 .. NELBO: 11938.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.22 .. NELBO: 5311.24
****************************************************************************************************
Validation loss decreased (10682.374023 --> 10622.475586).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11843.1 .. NELBO: 11843.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.21 .. NELBO: 5300.23
****************************************************************************************************
Validation loss decreased (10622.475586 --> 10600.452148).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11789.48 .. NELBO: 11789.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.51 .. NELBO: 5312.53
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.22 .. NELBO: 11781.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.92 .. NELBO: 5335.94
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.4 .. NELBO: 11793.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.64 .. NELBO: 5351.66
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.08 .. NELBO: 11796.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.55 .. NELBO: 5353.57
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11784.6 .. NELBO: 11784.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.48 .. NELBO: 5347.5
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  147
model: ETM(
  (t_drop): Dropout(p=0.05981806261719003, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=82, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=82, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=82, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 81.79 .. Rec_loss: 12263.68 .. NELBO: 12345.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.26 .. Rec_loss: 5443.75 .. NELBO: 5451.01
****************************************************************************************************
Validation loss decreased (inf --> 10902.019531).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.77 .. Rec_loss: 12247.28 .. NELBO: 12255.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.37 .. Rec_loss: 5431.28 .. NELBO: 5431.65
****************************************************************************************************
Validation loss decreased (10902.019531 --> 10863.296875).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.54 .. Rec_loss: 12206.29 .. NELBO: 12206.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5407.79 .. NELBO: 5407.86
****************************************************************************************************
Validation loss decreased (10863.296875 --> 10815.724609).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12134.33 .. NELBO: 12134.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5374.81 .. NELBO: 5374.84
****************************************************************************************************
Validation loss decreased (10815.724609 --> 10749.667969).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12036.83 .. NELBO: 12036.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5338.46 .. NELBO: 5338.48
****************************************************************************************************
Validation loss decreased (10749.667969 --> 10676.960938).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11928.61 .. NELBO: 11928.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5309.69 .. NELBO: 5309.72
****************************************************************************************************
Validation loss decreased (10676.960938 --> 10619.458984).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 11837.04 .. NELBO: 11837.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5300.69 .. NELBO: 5300.74
****************************************************************************************************
Validation loss decreased (10619.458984 --> 10601.476562).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 11786.76 .. NELBO: 11786.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5314.57 .. NELBO: 5314.62
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 11781.79 .. NELBO: 11781.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5337.78 .. NELBO: 5337.83
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 11794.36 .. NELBO: 11794.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5352.12 .. NELBO: 5352.17
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 11795.73 .. NELBO: 11795.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5352.85 .. NELBO: 5352.89
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 11783.19 .. NELBO: 11783.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5346.39 .. NELBO: 5346.42
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05981806261719003, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=82, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=82, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=82, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 89.0 .. Rec_loss: 12264.1 .. NELBO: 12353.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.47 .. Rec_loss: 5443.9 .. NELBO: 5452.37
****************************************************************************************************
Validation loss decreased (inf --> 10904.731445).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 9.11 .. Rec_loss: 12248.27 .. NELBO: 12257.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.46 .. Rec_loss: 5431.91 .. NELBO: 5432.37
****************************************************************************************************
Validation loss decreased (10904.731445 --> 10864.735352).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.65 .. Rec_loss: 12208.73 .. NELBO: 12209.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5408.92 .. NELBO: 5409.0
****************************************************************************************************
Validation loss decreased (10864.735352 --> 10817.992188).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12138.55 .. NELBO: 12138.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5376.37 .. NELBO: 5376.4
****************************************************************************************************
Validation loss decreased (10817.992188 --> 10752.793945).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12042.19 .. NELBO: 12042.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5340.08 .. NELBO: 5340.1
****************************************************************************************************
Validation loss decreased (10752.793945 --> 10680.201172).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11934.47 .. NELBO: 11934.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.7 .. NELBO: 5310.72
****************************************************************************************************
Validation loss decreased (10680.201172 --> 10621.438477).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11841.34 .. NELBO: 11841.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.43 .. NELBO: 5300.45
****************************************************************************************************
Validation loss decreased (10621.438477 --> 10600.897461).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11788.62 .. NELBO: 11788.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.12 .. NELBO: 5313.14
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.32 .. NELBO: 11781.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.31 .. NELBO: 5336.33
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.38 .. NELBO: 11793.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.55 .. NELBO: 5351.57
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.27 .. NELBO: 11796.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.08 .. NELBO: 5353.1
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11784.17 .. NELBO: 11784.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.92 .. NELBO: 5346.94
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05981806261719003, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=82, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=82, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=82, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 88.64 .. Rec_loss: 12264.18 .. NELBO: 12352.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.35 .. Rec_loss: 5443.95 .. NELBO: 5452.3
****************************************************************************************************
Validation loss decreased (inf --> 10904.605469).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 9.09 .. Rec_loss: 12248.4 .. NELBO: 12257.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.44 .. Rec_loss: 5431.84 .. NELBO: 5432.28
****************************************************************************************************
Validation loss decreased (10904.605469 --> 10864.554688).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.63 .. Rec_loss: 12208.8 .. NELBO: 12209.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5408.68 .. NELBO: 5408.75
****************************************************************************************************
Validation loss decreased (10864.554688 --> 10817.496094).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12137.75 .. NELBO: 12137.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5375.88 .. NELBO: 5375.91
****************************************************************************************************
Validation loss decreased (10817.496094 --> 10751.805664).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12040.92 .. NELBO: 12040.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5339.41 .. NELBO: 5339.43
****************************************************************************************************
Validation loss decreased (10751.805664 --> 10678.861328).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11933.28 .. NELBO: 11933.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.09 .. NELBO: 5310.11
****************************************************************************************************
Validation loss decreased (10678.861328 --> 10620.218750).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11840.6 .. NELBO: 11840.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.12 .. NELBO: 5300.14
****************************************************************************************************
Validation loss decreased (10620.218750 --> 10600.280273).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11788.64 .. NELBO: 11788.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.23 .. NELBO: 5313.25
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.48 .. NELBO: 11781.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.65 .. NELBO: 5336.67
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.55 .. NELBO: 11793.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.86 .. NELBO: 5351.88
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.06 .. NELBO: 11796.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.3 .. NELBO: 5353.32
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11783.79 .. NELBO: 11783.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.11 .. NELBO: 5347.13
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  148
model: ETM(
  (t_drop): Dropout(p=0.0626828463980928, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=59, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=59, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=59, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 68.61 .. Rec_loss: 12264.01 .. NELBO: 12332.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.49 .. Rec_loss: 5443.62 .. NELBO: 5451.11
****************************************************************************************************
Validation loss decreased (inf --> 10902.223633).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.11 .. Rec_loss: 12246.95 .. NELBO: 12255.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.36 .. Rec_loss: 5430.88 .. NELBO: 5431.24
****************************************************************************************************
Validation loss decreased (10902.223633 --> 10862.486328).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.52 .. Rec_loss: 12205.56 .. NELBO: 12206.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5407.32 .. NELBO: 5407.39
****************************************************************************************************
Validation loss decreased (10862.486328 --> 10814.777344).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12133.42 .. NELBO: 12133.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5374.28 .. NELBO: 5374.3
****************************************************************************************************
Validation loss decreased (10814.777344 --> 10748.611328).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12036.57 .. NELBO: 12036.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5337.95 .. NELBO: 5337.96
****************************************************************************************************
Validation loss decreased (10748.611328 --> 10675.938477).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11928.2 .. NELBO: 11928.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5309.3 .. NELBO: 5309.31
****************************************************************************************************
Validation loss decreased (10675.938477 --> 10618.628906).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11837.42 .. NELBO: 11837.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.36 .. NELBO: 5300.37
****************************************************************************************************
Validation loss decreased (10618.628906 --> 10600.754883).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11786.78 .. NELBO: 11786.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5314.29 .. NELBO: 5314.3
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.58 .. NELBO: 11781.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5337.63 .. NELBO: 5337.64
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11794.19 .. NELBO: 11794.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5352.12 .. NELBO: 5352.13
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.39 .. NELBO: 11795.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.02 .. NELBO: 5353.03
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11783.0 .. NELBO: 11783.03
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5346.68 .. NELBO: 5346.69
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.0626828463980928, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=59, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=59, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=59, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 69.1 .. Rec_loss: 12264.28 .. NELBO: 12333.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.01 .. Rec_loss: 5444.09 .. NELBO: 5451.1
****************************************************************************************************
Validation loss decreased (inf --> 10902.207031).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.49 .. Rec_loss: 12248.57 .. NELBO: 12256.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 5432.09 .. NELBO: 5432.52
****************************************************************************************************
Validation loss decreased (10902.207031 --> 10865.037109).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.67 .. Rec_loss: 12209.07 .. NELBO: 12209.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 5409.45 .. NELBO: 5409.58
****************************************************************************************************
Validation loss decreased (10865.037109 --> 10819.150391).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.21 .. Rec_loss: 12138.84 .. NELBO: 12139.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5377.18 .. NELBO: 5377.24
****************************************************************************************************
Validation loss decreased (10819.150391 --> 10754.481445).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12043.29 .. NELBO: 12043.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5341.02 .. NELBO: 5341.07
****************************************************************************************************
Validation loss decreased (10754.481445 --> 10682.142578).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 11936.05 .. NELBO: 11936.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5311.42 .. NELBO: 5311.49
****************************************************************************************************
Validation loss decreased (10682.142578 --> 10622.966797).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.16 .. Rec_loss: 11842.42 .. NELBO: 11842.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 5300.51 .. NELBO: 5300.62
****************************************************************************************************
Validation loss decreased (10622.966797 --> 10601.228516).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.24 .. Rec_loss: 11788.72 .. NELBO: 11788.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 5312.58 .. NELBO: 5312.72
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.28 .. Rec_loss: 11780.34 .. NELBO: 11780.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 5335.56 .. NELBO: 5335.67
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.21 .. Rec_loss: 11792.68 .. NELBO: 11792.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5351.12 .. NELBO: 5351.21
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.17 .. Rec_loss: 11795.72 .. NELBO: 11795.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5353.1 .. NELBO: 5353.17
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 11784.65 .. NELBO: 11784.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5347.15 .. NELBO: 5347.2
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.0626828463980928, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=59, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=59, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=59, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 65.98 .. Rec_loss: 12263.73 .. NELBO: 12329.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.62 .. Rec_loss: 5443.55 .. NELBO: 5450.17
****************************************************************************************************
Validation loss decreased (inf --> 10900.342773).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.2 .. Rec_loss: 12247.27 .. NELBO: 12254.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.33 .. Rec_loss: 5431.41 .. NELBO: 5431.74
****************************************************************************************************
Validation loss decreased (10900.342773 --> 10863.479492).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.47 .. Rec_loss: 12207.58 .. NELBO: 12208.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5408.36 .. NELBO: 5408.42
****************************************************************************************************
Validation loss decreased (10863.479492 --> 10816.832031).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 12137.2 .. NELBO: 12137.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5375.73 .. NELBO: 5375.75
****************************************************************************************************
Validation loss decreased (10816.832031 --> 10751.500000).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12039.62 .. NELBO: 12039.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5339.35 .. NELBO: 5339.36
****************************************************************************************************
Validation loss decreased (10751.500000 --> 10678.721680).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11931.7 .. NELBO: 11931.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5310.08 .. NELBO: 5310.09
****************************************************************************************************
Validation loss decreased (10678.721680 --> 10620.178711).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11839.36 .. NELBO: 11839.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.25 .. NELBO: 5300.26
****************************************************************************************************
Validation loss decreased (10620.178711 --> 10600.524414).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11787.1 .. NELBO: 11787.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5313.65 .. NELBO: 5313.66
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.33 .. NELBO: 11781.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5337.22 .. NELBO: 5337.23
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11794.06 .. NELBO: 11794.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5352.37 .. NELBO: 5352.38
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.89 .. NELBO: 11795.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.67 .. NELBO: 5353.68
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11784.49 .. NELBO: 11784.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5347.33 .. NELBO: 5347.34
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  149
model: ETM(
  (t_drop): Dropout(p=0.062160474415888935, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=57, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=57, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=57, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 72.71 .. Rec_loss: 12264.26 .. NELBO: 12336.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.57 .. Rec_loss: 5443.82 .. NELBO: 5451.39
****************************************************************************************************
Validation loss decreased (inf --> 10902.773438).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.14 .. Rec_loss: 12247.71 .. NELBO: 12255.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.4 .. Rec_loss: 5431.6 .. NELBO: 5432.0
****************************************************************************************************
Validation loss decreased (10902.773438 --> 10863.995117).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.59 .. Rec_loss: 12208.07 .. NELBO: 12208.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5408.62 .. NELBO: 5408.69
****************************************************************************************************
Validation loss decreased (10863.995117 --> 10817.392578).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12137.47 .. NELBO: 12137.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5376.24 .. NELBO: 5376.26
****************************************************************************************************
Validation loss decreased (10817.392578 --> 10752.529297).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12041.16 .. NELBO: 12041.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5340.14 .. NELBO: 5340.16
****************************************************************************************************
Validation loss decreased (10752.529297 --> 10680.309570).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11934.78 .. NELBO: 11934.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5310.71 .. NELBO: 5310.72
****************************************************************************************************
Validation loss decreased (10680.309570 --> 10621.444336).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11842.1 .. NELBO: 11842.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.05 .. NELBO: 5300.07
****************************************************************************************************
Validation loss decreased (10621.444336 --> 10600.132812).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11788.74 .. NELBO: 11788.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.44 .. NELBO: 5312.46
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11780.58 .. NELBO: 11780.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.8 .. NELBO: 5335.82
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11793.08 .. NELBO: 11793.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.53 .. NELBO: 5351.55
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.85 .. NELBO: 11795.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.5 .. NELBO: 5353.52
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11784.29 .. NELBO: 11784.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5347.52 .. NELBO: 5347.53
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.062160474415888935, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=57, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=57, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=57, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 76.35 .. Rec_loss: 12264.17 .. NELBO: 12340.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.46 .. Rec_loss: 5443.83 .. NELBO: 5451.29
****************************************************************************************************
Validation loss decreased (inf --> 10902.592773).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.99 .. Rec_loss: 12248.37 .. NELBO: 12256.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.46 .. Rec_loss: 5432.33 .. NELBO: 5432.79
****************************************************************************************************
Validation loss decreased (10902.592773 --> 10865.577148).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.67 .. Rec_loss: 12210.18 .. NELBO: 12210.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5410.09 .. NELBO: 5410.17
****************************************************************************************************
Validation loss decreased (10865.577148 --> 10820.351562).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12141.91 .. NELBO: 12142.03
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5378.18 .. NELBO: 5378.2
****************************************************************************************************
Validation loss decreased (10820.351562 --> 10756.396484).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12047.39 .. NELBO: 12047.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5342.03 .. NELBO: 5342.04
****************************************************************************************************
Validation loss decreased (10756.396484 --> 10684.085938).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11939.88 .. NELBO: 11939.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5311.97 .. NELBO: 5311.98
****************************************************************************************************
Validation loss decreased (10684.085938 --> 10623.965820).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11845.5 .. NELBO: 11845.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.34 .. NELBO: 5300.36
****************************************************************************************************
Validation loss decreased (10623.965820 --> 10600.714844).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11789.72 .. NELBO: 11789.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5312.03 .. NELBO: 5312.06
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11780.49 .. NELBO: 11780.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5335.31 .. NELBO: 5335.34
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11793.01 .. NELBO: 11793.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.29 .. NELBO: 5351.31
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.16 .. NELBO: 11796.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.47 .. NELBO: 5353.48
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11784.82 .. NELBO: 11784.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5347.6 .. NELBO: 5347.61
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.062160474415888935, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=57, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=57, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=57, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 69.91 .. Rec_loss: 12264.04 .. NELBO: 12333.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.09 .. Rec_loss: 5443.65 .. NELBO: 5450.74
****************************************************************************************************
Validation loss decreased (inf --> 10901.482422).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.74 .. Rec_loss: 12247.73 .. NELBO: 12255.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.35 .. Rec_loss: 5431.62 .. NELBO: 5431.97
****************************************************************************************************
Validation loss decreased (10901.482422 --> 10863.940430).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.49 .. Rec_loss: 12208.05 .. NELBO: 12208.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5408.7 .. NELBO: 5408.75
****************************************************************************************************
Validation loss decreased (10863.940430 --> 10817.514648).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 12138.22 .. NELBO: 12138.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5376.25 .. NELBO: 5376.27
****************************************************************************************************
Validation loss decreased (10817.514648 --> 10752.538086).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12042.42 .. NELBO: 12042.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5339.97 .. NELBO: 5339.98
****************************************************************************************************
Validation loss decreased (10752.538086 --> 10679.960938).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11934.94 .. NELBO: 11934.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5310.43 .. NELBO: 5310.44
****************************************************************************************************
Validation loss decreased (10679.960938 --> 10620.880859).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11841.37 .. NELBO: 11841.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5299.89 .. NELBO: 5299.9
****************************************************************************************************
Validation loss decreased (10620.880859 --> 10599.796875).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11788.02 .. NELBO: 11788.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5312.5 .. NELBO: 5312.51
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11780.65 .. NELBO: 11780.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5335.95 .. NELBO: 5335.96
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11793.22 .. NELBO: 11793.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5351.65 .. NELBO: 5351.66
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11796.25 .. NELBO: 11796.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.49 .. NELBO: 5353.5
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11784.82 .. NELBO: 11784.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5347.42 .. NELBO: 5347.43
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  150
model: ETM(
  (t_drop): Dropout(p=0.06103440580345521, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=74, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=74, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=74, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 74.1 .. Rec_loss: 12264.07 .. NELBO: 12338.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.82 .. Rec_loss: 5443.81 .. NELBO: 5450.63
****************************************************************************************************
Validation loss decreased (inf --> 10901.259766).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.52 .. Rec_loss: 12247.04 .. NELBO: 12254.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 5430.93 .. NELBO: 5431.36
****************************************************************************************************
Validation loss decreased (10901.259766 --> 10862.723633).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.6 .. Rec_loss: 12205.75 .. NELBO: 12206.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5407.23 .. NELBO: 5407.29
****************************************************************************************************
Validation loss decreased (10862.723633 --> 10814.572266).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 12133.24 .. NELBO: 12133.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5374.17 .. NELBO: 5374.19
****************************************************************************************************
Validation loss decreased (10814.572266 --> 10748.375000).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12035.06 .. NELBO: 12035.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5337.92 .. NELBO: 5337.93
****************************************************************************************************
Validation loss decreased (10748.375000 --> 10675.869141).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11927.5 .. NELBO: 11927.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5309.37 .. NELBO: 5309.38
****************************************************************************************************
Validation loss decreased (10675.869141 --> 10618.772461).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11836.9 .. NELBO: 11836.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.51 .. NELBO: 5300.52
****************************************************************************************************
Validation loss decreased (10618.772461 --> 10601.050781).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11786.93 .. NELBO: 11786.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5314.37 .. NELBO: 5314.38
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.52 .. NELBO: 11781.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5337.57 .. NELBO: 5337.58
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11793.49 .. NELBO: 11793.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5352.03 .. NELBO: 5352.04
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.35 .. NELBO: 11795.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5352.94 .. NELBO: 5352.95
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11783.39 .. NELBO: 11783.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5346.6 .. NELBO: 5346.61
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06103440580345521, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=74, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=74, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=74, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 84.0 .. Rec_loss: 12264.18 .. NELBO: 12348.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.85 .. Rec_loss: 5444.19 .. NELBO: 5452.04
****************************************************************************************************
Validation loss decreased (inf --> 10904.074219).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.46 .. Rec_loss: 12249.66 .. NELBO: 12258.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 5433.13 .. NELBO: 5433.52
****************************************************************************************************
Validation loss decreased (10904.074219 --> 10867.032227).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.55 .. Rec_loss: 12212.57 .. NELBO: 12213.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5411.37 .. NELBO: 5411.43
****************************************************************************************************
Validation loss decreased (10867.032227 --> 10822.863281).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12146.02 .. NELBO: 12146.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5379.72 .. NELBO: 5379.74
****************************************************************************************************
Validation loss decreased (10822.863281 --> 10759.489258).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12051.86 .. NELBO: 12051.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5343.4 .. NELBO: 5343.42
****************************************************************************************************
Validation loss decreased (10759.489258 --> 10686.839844).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11944.55 .. NELBO: 11944.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.68 .. NELBO: 5312.7
****************************************************************************************************
Validation loss decreased (10686.839844 --> 10625.381836).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11847.74 .. NELBO: 11847.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.1 .. NELBO: 5300.12
****************************************************************************************************
Validation loss decreased (10625.381836 --> 10600.241211).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11790.75 .. NELBO: 11790.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.14 .. NELBO: 5311.16
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11779.79 .. NELBO: 11779.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5334.67 .. NELBO: 5334.69
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11792.21 .. NELBO: 11792.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.47 .. NELBO: 5351.49
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.57 .. NELBO: 11796.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5354.23 .. NELBO: 5354.25
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11786.21 .. NELBO: 11786.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5348.38 .. NELBO: 5348.4
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06103440580345521, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=74, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=74, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=74, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 74.79 .. Rec_loss: 12264.37 .. NELBO: 12339.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.46 .. Rec_loss: 5444.2 .. NELBO: 5451.66
****************************************************************************************************
Validation loss decreased (inf --> 10903.314453).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.18 .. Rec_loss: 12249.16 .. NELBO: 12257.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.41 .. Rec_loss: 5432.34 .. NELBO: 5432.75
****************************************************************************************************
Validation loss decreased (10903.314453 --> 10865.505859).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.59 .. Rec_loss: 12210.67 .. NELBO: 12211.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5410.1 .. NELBO: 5410.18
****************************************************************************************************
Validation loss decreased (10865.505859 --> 10820.344727).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12142.78 .. NELBO: 12142.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5378.24 .. NELBO: 5378.27
****************************************************************************************************
Validation loss decreased (10820.344727 --> 10756.533203).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12047.95 .. NELBO: 12048.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5342.2 .. NELBO: 5342.22
****************************************************************************************************
Validation loss decreased (10756.533203 --> 10684.439453).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11941.97 .. NELBO: 11942.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.1 .. NELBO: 5312.12
****************************************************************************************************
Validation loss decreased (10684.439453 --> 10624.238281).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11847.54 .. NELBO: 11847.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.01 .. NELBO: 5300.03
****************************************************************************************************
Validation loss decreased (10624.238281 --> 10600.058594).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11791.56 .. NELBO: 11791.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.96 .. NELBO: 5310.98
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.84 .. NELBO: 11780.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5333.93 .. NELBO: 5333.95
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.21 .. NELBO: 11792.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.35 .. NELBO: 5350.37
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.73 .. NELBO: 11795.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.17 .. NELBO: 5353.19
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11785.44 .. NELBO: 11785.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.6 .. NELBO: 5347.62
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  151
model: ETM(
  (t_drop): Dropout(p=0.060503813037589546, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=79, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=79, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=79, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 86.53 .. Rec_loss: 12264.17 .. NELBO: 12350.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.89 .. Rec_loss: 5444.05 .. NELBO: 5451.94
****************************************************************************************************
Validation loss decreased (inf --> 10903.871094).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.54 .. Rec_loss: 12248.55 .. NELBO: 12257.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.4 .. Rec_loss: 5432.33 .. NELBO: 5432.73
****************************************************************************************************
Validation loss decreased (10903.871094 --> 10865.452148).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.56 .. Rec_loss: 12210.73 .. NELBO: 12211.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5410.03 .. NELBO: 5410.1
****************************************************************************************************
Validation loss decreased (10865.452148 --> 10820.187500).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12142.04 .. NELBO: 12142.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5378.07 .. NELBO: 5378.09
****************************************************************************************************
Validation loss decreased (10820.187500 --> 10756.184570).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12046.68 .. NELBO: 12046.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5341.92 .. NELBO: 5341.94
****************************************************************************************************
Validation loss decreased (10756.184570 --> 10683.881836).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11939.44 .. NELBO: 11939.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.92 .. NELBO: 5311.94
****************************************************************************************************
Validation loss decreased (10683.881836 --> 10623.882812).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11845.54 .. NELBO: 11845.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.33 .. NELBO: 5300.35
****************************************************************************************************
Validation loss decreased (10623.882812 --> 10600.693359).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11790.64 .. NELBO: 11790.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.87 .. NELBO: 5311.89
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.04 .. NELBO: 11781.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5334.98 .. NELBO: 5335.0
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11792.5 .. NELBO: 11792.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.92 .. NELBO: 5350.94
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.82 .. NELBO: 11795.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.16 .. NELBO: 5353.18
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11785.1 .. NELBO: 11785.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.31 .. NELBO: 5347.33
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.060503813037589546, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=79, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=79, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=79, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 96.69 .. Rec_loss: 12264.08 .. NELBO: 12360.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.96 .. Rec_loss: 5444.04 .. NELBO: 5452.0
****************************************************************************************************
Validation loss decreased (inf --> 10903.997070).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.48 .. Rec_loss: 12248.43 .. NELBO: 12256.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 5432.04 .. NELBO: 5432.47
****************************************************************************************************
Validation loss decreased (10903.997070 --> 10864.946289).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.63 .. Rec_loss: 12209.25 .. NELBO: 12209.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5409.23 .. NELBO: 5409.31
****************************************************************************************************
Validation loss decreased (10864.946289 --> 10818.631836).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12138.8 .. NELBO: 12138.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5376.61 .. NELBO: 5376.64
****************************************************************************************************
Validation loss decreased (10818.631836 --> 10753.266602).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12042.05 .. NELBO: 12042.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5340.02 .. NELBO: 5340.04
****************************************************************************************************
Validation loss decreased (10753.266602 --> 10680.073242).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11934.4 .. NELBO: 11934.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.34 .. NELBO: 5310.36
****************************************************************************************************
Validation loss decreased (10680.073242 --> 10620.718750).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11840.52 .. NELBO: 11840.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.07 .. NELBO: 5300.09
****************************************************************************************************
Validation loss decreased (10620.718750 --> 10600.167969).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11787.88 .. NELBO: 11787.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.25 .. NELBO: 5313.27
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.99 .. NELBO: 11781.03
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.01 .. NELBO: 5337.03
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11794.12 .. NELBO: 11794.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.38 .. NELBO: 5352.4
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.57 .. NELBO: 11796.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.68 .. NELBO: 5353.7
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11784.28 .. NELBO: 11784.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.29 .. NELBO: 5347.31
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.060503813037589546, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=79, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=79, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=79, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 87.91 .. Rec_loss: 12264.03 .. NELBO: 12351.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.76 .. Rec_loss: 5443.88 .. NELBO: 5451.64
****************************************************************************************************
Validation loss decreased (inf --> 10903.281250).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.34 .. Rec_loss: 12248.11 .. NELBO: 12256.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.44 .. Rec_loss: 5431.81 .. NELBO: 5432.25
****************************************************************************************************
Validation loss decreased (10903.281250 --> 10864.492188).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.63 .. Rec_loss: 12208.69 .. NELBO: 12209.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5409.12 .. NELBO: 5409.2
****************************************************************************************************
Validation loss decreased (10864.492188 --> 10818.414062).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 12139.15 .. NELBO: 12139.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5376.99 .. NELBO: 5377.02
****************************************************************************************************
Validation loss decreased (10818.414062 --> 10754.034180).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12044.03 .. NELBO: 12044.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5340.96 .. NELBO: 5340.98
****************************************************************************************************
Validation loss decreased (10754.034180 --> 10681.956055).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11937.18 .. NELBO: 11937.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.4 .. NELBO: 5311.42
****************************************************************************************************
Validation loss decreased (10681.956055 --> 10622.831055).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11844.36 .. NELBO: 11844.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.3 .. NELBO: 5300.32
****************************************************************************************************
Validation loss decreased (10622.831055 --> 10600.635742).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11790.15 .. NELBO: 11790.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.02 .. NELBO: 5312.04
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.67 .. NELBO: 11780.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5334.9 .. NELBO: 5334.92
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.2 .. NELBO: 11792.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.62 .. NELBO: 5350.64
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.7 .. NELBO: 11795.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.82 .. NELBO: 5352.84
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11784.7 .. NELBO: 11784.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.06 .. NELBO: 5347.08
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  152
model: ETM(
  (t_drop): Dropout(p=0.04573043215006916, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=76, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=76, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=76, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 89.74 .. Rec_loss: 12264.02 .. NELBO: 12353.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.04 .. Rec_loss: 5443.85 .. NELBO: 5451.89
****************************************************************************************************
Validation loss decreased (inf --> 10903.781250).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.65 .. Rec_loss: 12247.75 .. NELBO: 12256.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.42 .. Rec_loss: 5431.7 .. NELBO: 5432.12
****************************************************************************************************
Validation loss decreased (10903.781250 --> 10864.248047).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.61 .. Rec_loss: 12208.39 .. NELBO: 12209.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5408.82 .. NELBO: 5408.9
****************************************************************************************************
Validation loss decreased (10864.248047 --> 10817.789062).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12138.45 .. NELBO: 12138.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5376.36 .. NELBO: 5376.39
****************************************************************************************************
Validation loss decreased (10817.789062 --> 10752.769531).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12042.04 .. NELBO: 12042.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5340.07 .. NELBO: 5340.09
****************************************************************************************************
Validation loss decreased (10752.769531 --> 10680.174805).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11934.62 .. NELBO: 11934.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.55 .. NELBO: 5310.57
****************************************************************************************************
Validation loss decreased (10680.174805 --> 10621.146484).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11841.09 .. NELBO: 11841.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.01 .. NELBO: 5300.03
****************************************************************************************************
Validation loss decreased (10621.146484 --> 10600.056641).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11787.81 .. NELBO: 11787.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.56 .. NELBO: 5312.58
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.34 .. NELBO: 11780.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.95 .. NELBO: 5335.97
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.81 .. NELBO: 11792.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.63 .. NELBO: 5351.65
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.76 .. NELBO: 11795.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.54 .. NELBO: 5353.56
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11784.61 .. NELBO: 11784.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.52 .. NELBO: 5347.54
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.04573043215006916, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=76, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=76, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=76, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 84.26 .. Rec_loss: 12263.96 .. NELBO: 12348.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.89 .. Rec_loss: 5444.04 .. NELBO: 5451.93
****************************************************************************************************
Validation loss decreased (inf --> 10903.854492).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.44 .. Rec_loss: 12248.37 .. NELBO: 12256.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.42 .. Rec_loss: 5431.94 .. NELBO: 5432.36
****************************************************************************************************
Validation loss decreased (10903.854492 --> 10864.702148).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.6 .. Rec_loss: 12208.88 .. NELBO: 12209.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5409.13 .. NELBO: 5409.2
****************************************************************************************************
Validation loss decreased (10864.702148 --> 10818.408203).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12138.28 .. NELBO: 12138.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5376.72 .. NELBO: 5376.74
****************************************************************************************************
Validation loss decreased (10818.408203 --> 10753.477539).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12043.07 .. NELBO: 12043.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5340.41 .. NELBO: 5340.43
****************************************************************************************************
Validation loss decreased (10753.477539 --> 10680.849609).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11935.23 .. NELBO: 11935.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.76 .. NELBO: 5310.78
****************************************************************************************************
Validation loss decreased (10680.849609 --> 10621.560547).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11841.78 .. NELBO: 11841.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.08 .. NELBO: 5300.1
****************************************************************************************************
Validation loss decreased (10621.560547 --> 10600.187500).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11788.4 .. NELBO: 11788.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.62 .. NELBO: 5312.64
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.0 .. NELBO: 11781.03
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.05 .. NELBO: 5336.07
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11793.15 .. NELBO: 11793.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.64 .. NELBO: 5351.66
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.09 .. NELBO: 11796.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.44 .. NELBO: 5353.46
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11784.44 .. NELBO: 11784.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.38 .. NELBO: 5347.4
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.04573043215006916, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=76, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=76, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=76, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 91.28 .. Rec_loss: 12263.72 .. NELBO: 12355.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.05 .. Rec_loss: 5443.35 .. NELBO: 5451.4
****************************************************************************************************
Validation loss decreased (inf --> 10902.801758).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.7 .. Rec_loss: 12246.23 .. NELBO: 12254.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.46 .. Rec_loss: 5430.78 .. NELBO: 5431.24
****************************************************************************************************
Validation loss decreased (10902.801758 --> 10862.483398).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.65 .. Rec_loss: 12204.53 .. NELBO: 12205.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5407.31 .. NELBO: 5407.38
****************************************************************************************************
Validation loss decreased (10862.483398 --> 10814.762695).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12133.65 .. NELBO: 12133.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5374.61 .. NELBO: 5374.63
****************************************************************************************************
Validation loss decreased (10814.762695 --> 10749.264648).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12035.77 .. NELBO: 12035.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5338.67 .. NELBO: 5338.69
****************************************************************************************************
Validation loss decreased (10749.264648 --> 10677.370117).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11928.9 .. NELBO: 11928.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.09 .. NELBO: 5310.11
****************************************************************************************************
Validation loss decreased (10677.370117 --> 10620.211914).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11837.66 .. NELBO: 11837.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.68 .. NELBO: 5300.7
****************************************************************************************************
Validation loss decreased (10620.211914 --> 10601.386719).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11787.3 .. NELBO: 11787.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.77 .. NELBO: 5313.79
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11780.71 .. NELBO: 11780.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.7 .. NELBO: 5336.72
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.91 .. NELBO: 11792.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.56 .. NELBO: 5351.58
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.31 .. NELBO: 11795.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.0 .. NELBO: 5353.02
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11783.49 .. NELBO: 11783.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.91 .. NELBO: 5346.93
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  153
model: ETM(
  (t_drop): Dropout(p=0.06110842086560892, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=79, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=79, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=79, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 85.88 .. Rec_loss: 12263.85 .. NELBO: 12349.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.72 .. Rec_loss: 5443.64 .. NELBO: 5451.36
****************************************************************************************************
Validation loss decreased (inf --> 10902.728516).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.35 .. Rec_loss: 12247.11 .. NELBO: 12255.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.4 .. Rec_loss: 5430.97 .. NELBO: 5431.37
****************************************************************************************************
Validation loss decreased (10902.728516 --> 10862.738281).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.57 .. Rec_loss: 12206.34 .. NELBO: 12206.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5407.48 .. NELBO: 5407.54
****************************************************************************************************
Validation loss decreased (10862.738281 --> 10815.084961).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12134.2 .. NELBO: 12134.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5374.54 .. NELBO: 5374.56
****************************************************************************************************
Validation loss decreased (10815.084961 --> 10749.125977).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12036.95 .. NELBO: 12036.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5338.23 .. NELBO: 5338.25
****************************************************************************************************
Validation loss decreased (10749.125977 --> 10676.491211).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11929.06 .. NELBO: 11929.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5309.46 .. NELBO: 5309.48
****************************************************************************************************
Validation loss decreased (10676.491211 --> 10618.949219).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11837.16 .. NELBO: 11837.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.37 .. NELBO: 5300.39
****************************************************************************************************
Validation loss decreased (10618.949219 --> 10600.766602).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11786.8 .. NELBO: 11786.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5314.18 .. NELBO: 5314.2
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.54 .. NELBO: 11781.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.54 .. NELBO: 5337.56
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.52 .. NELBO: 11793.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.19 .. NELBO: 5352.21
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.23 .. NELBO: 11795.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.24 .. NELBO: 5353.26
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11783.28 .. NELBO: 11783.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.97 .. NELBO: 5346.99
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06110842086560892, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=79, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=79, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=79, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 93.67 .. Rec_loss: 12264.28 .. NELBO: 12357.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.3 .. Rec_loss: 5444.39 .. NELBO: 5452.69
****************************************************************************************************
Validation loss decreased (inf --> 10905.375977).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 9.01 .. Rec_loss: 12250.03 .. NELBO: 12259.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.5 .. Rec_loss: 5433.23 .. NELBO: 5433.73
****************************************************************************************************
Validation loss decreased (10905.375977 --> 10867.458984).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.72 .. Rec_loss: 12212.91 .. NELBO: 12213.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5411.36 .. NELBO: 5411.45
****************************************************************************************************
Validation loss decreased (10867.458984 --> 10822.902344).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 12145.54 .. NELBO: 12145.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5379.5 .. NELBO: 5379.53
****************************************************************************************************
Validation loss decreased (10822.902344 --> 10759.049805).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12051.07 .. NELBO: 12051.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5343.03 .. NELBO: 5343.05
****************************************************************************************************
Validation loss decreased (10759.049805 --> 10686.107422).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11943.3 .. NELBO: 11943.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.38 .. NELBO: 5312.4
****************************************************************************************************
Validation loss decreased (10686.107422 --> 10624.793945).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11848.03 .. NELBO: 11848.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.04 .. NELBO: 5300.06
****************************************************************************************************
Validation loss decreased (10624.793945 --> 10600.107422).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11790.51 .. NELBO: 11790.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.22 .. NELBO: 5311.24
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.58 .. NELBO: 11780.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5334.64 .. NELBO: 5334.66
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.87 .. NELBO: 11792.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.18 .. NELBO: 5351.2
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.26 .. NELBO: 11796.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.79 .. NELBO: 5353.81
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11785.09 .. NELBO: 11785.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5348.01 .. NELBO: 5348.03
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06110842086560892, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=79, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=79, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=79, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 83.95 .. Rec_loss: 12264.09 .. NELBO: 12348.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.07 .. Rec_loss: 5444.07 .. NELBO: 5452.14
****************************************************************************************************
Validation loss decreased (inf --> 10904.281250).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.69 .. Rec_loss: 12248.13 .. NELBO: 12256.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.41 .. Rec_loss: 5431.75 .. NELBO: 5432.16
****************************************************************************************************
Validation loss decreased (10904.281250 --> 10864.325195).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.61 .. Rec_loss: 12208.21 .. NELBO: 12208.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5408.63 .. NELBO: 5408.71
****************************************************************************************************
Validation loss decreased (10864.325195 --> 10817.431641).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 12137.49 .. NELBO: 12137.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5375.82 .. NELBO: 5375.85
****************************************************************************************************
Validation loss decreased (10817.431641 --> 10751.696289).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 12040.03 .. NELBO: 12040.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5339.35 .. NELBO: 5339.37
****************************************************************************************************
Validation loss decreased (10751.696289 --> 10678.750977).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11932.8 .. NELBO: 11932.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.12 .. NELBO: 5310.14
****************************************************************************************************
Validation loss decreased (10678.750977 --> 10620.278320).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11839.6 .. NELBO: 11839.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.33 .. NELBO: 5300.35
****************************************************************************************************
Validation loss decreased (10620.278320 --> 10600.701172).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11787.72 .. NELBO: 11787.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.59 .. NELBO: 5313.61
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.23 .. NELBO: 11781.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.96 .. NELBO: 5336.98
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11794.12 .. NELBO: 11794.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.03 .. NELBO: 5352.05
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.7 .. NELBO: 11795.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.42 .. NELBO: 5353.44
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11783.96 .. NELBO: 11784.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.2 .. NELBO: 5347.22
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  154
model: ETM(
  (t_drop): Dropout(p=0.03058415696148114, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=62, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=62, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=62, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 79.43 .. Rec_loss: 12263.83 .. NELBO: 12343.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.72 .. Rec_loss: 5444.1 .. NELBO: 5451.82
****************************************************************************************************
Validation loss decreased (inf --> 10903.654297).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.35 .. Rec_loss: 12249.57 .. NELBO: 12257.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.51 .. Rec_loss: 5433.25 .. NELBO: 5433.76
****************************************************************************************************
Validation loss decreased (10903.654297 --> 10867.519531).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.76 .. Rec_loss: 12213.21 .. NELBO: 12213.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 5411.8 .. NELBO: 5411.92
****************************************************************************************************
Validation loss decreased (10867.519531 --> 10823.840820).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.19 .. Rec_loss: 12147.27 .. NELBO: 12147.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5380.56 .. NELBO: 5380.59
****************************************************************************************************
Validation loss decreased (10823.840820 --> 10761.193359).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 12053.77 .. NELBO: 12053.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5344.62 .. NELBO: 5344.64
****************************************************************************************************
Validation loss decreased (10761.193359 --> 10689.278320).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11948.04 .. NELBO: 11948.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.81 .. NELBO: 5313.83
****************************************************************************************************
Validation loss decreased (10689.278320 --> 10627.660156).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11851.2 .. NELBO: 11851.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.39 .. NELBO: 5300.4
****************************************************************************************************
Validation loss decreased (10627.660156 --> 10600.809570).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11792.31 .. NELBO: 11792.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.19 .. NELBO: 5310.21
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11779.4 .. NELBO: 11779.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5333.22 .. NELBO: 5333.24
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11791.51 .. NELBO: 11791.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.58 .. NELBO: 5350.6
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.34 .. NELBO: 11796.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5354.1 .. NELBO: 5354.12
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11786.46 .. NELBO: 11786.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5348.64 .. NELBO: 5348.65
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.03058415696148114, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=62, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=62, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=62, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 67.11 .. Rec_loss: 12264.16 .. NELBO: 12331.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.88 .. Rec_loss: 5443.81 .. NELBO: 5450.69
****************************************************************************************************
Validation loss decreased (inf --> 10901.386719).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.49 .. Rec_loss: 12248.27 .. NELBO: 12255.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.42 .. Rec_loss: 5431.85 .. NELBO: 5432.27
****************************************************************************************************
Validation loss decreased (10901.386719 --> 10864.538086).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.62 .. Rec_loss: 12209.01 .. NELBO: 12209.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5408.92 .. NELBO: 5409.01
****************************************************************************************************
Validation loss decreased (10864.538086 --> 10818.029297).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.15 .. Rec_loss: 12138.85 .. NELBO: 12139.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5376.4 .. NELBO: 5376.45
****************************************************************************************************
Validation loss decreased (10818.029297 --> 10752.898438).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 12042.14 .. NELBO: 12042.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5340.05 .. NELBO: 5340.09
****************************************************************************************************
Validation loss decreased (10752.898438 --> 10680.166992).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 11934.44 .. NELBO: 11934.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5310.52 .. NELBO: 5310.56
****************************************************************************************************
Validation loss decreased (10680.166992 --> 10621.117188).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 11841.08 .. NELBO: 11841.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5300.14 .. NELBO: 5300.18
****************************************************************************************************
Validation loss decreased (10621.117188 --> 10600.356445).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 11788.76 .. NELBO: 11788.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5312.86 .. NELBO: 5312.9
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 11780.94 .. NELBO: 11781.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5336.15 .. NELBO: 5336.19
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 11793.61 .. NELBO: 11793.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5351.46 .. NELBO: 5351.5
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 11795.77 .. NELBO: 11795.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5353.05 .. NELBO: 5353.09
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 11784.03 .. NELBO: 11784.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5346.94 .. NELBO: 5346.98
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.03058415696148114, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=62, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=62, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=62, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 79.44 .. Rec_loss: 12264.34 .. NELBO: 12343.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.62 .. Rec_loss: 5444.09 .. NELBO: 5451.71
****************************************************************************************************
Validation loss decreased (inf --> 10903.413086).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.09 .. Rec_loss: 12249.14 .. NELBO: 12257.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 5432.85 .. NELBO: 5433.24
****************************************************************************************************
Validation loss decreased (10903.413086 --> 10866.466797).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.57 .. Rec_loss: 12211.85 .. NELBO: 12212.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5410.94 .. NELBO: 5411.01
****************************************************************************************************
Validation loss decreased (10866.466797 --> 10822.030273).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12144.35 .. NELBO: 12144.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5379.33 .. NELBO: 5379.35
****************************************************************************************************
Validation loss decreased (10822.030273 --> 10758.701172).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12050.94 .. NELBO: 12050.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5343.26 .. NELBO: 5343.28
****************************************************************************************************
Validation loss decreased (10758.701172 --> 10686.560547).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11943.81 .. NELBO: 11943.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5312.85 .. NELBO: 5312.86
****************************************************************************************************
Validation loss decreased (10686.560547 --> 10625.722656).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11848.68 .. NELBO: 11848.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.39 .. NELBO: 5300.4
****************************************************************************************************
Validation loss decreased (10625.722656 --> 10600.807617).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11791.12 .. NELBO: 11791.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.19 .. NELBO: 5311.21
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11780.62 .. NELBO: 11780.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5334.33 .. NELBO: 5334.35
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11792.01 .. NELBO: 11792.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.96 .. NELBO: 5350.98
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.12 .. NELBO: 11796.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.76 .. NELBO: 5353.78
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11785.8 .. NELBO: 11785.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5348.02 .. NELBO: 5348.03
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  155
model: ETM(
  (t_drop): Dropout(p=0.061095697927479986, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=76, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=76, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=76, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.33 .. Rec_loss: 12263.51 .. NELBO: 12263.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.91 .. Rec_loss: 5442.68 .. NELBO: 5443.59
****************************************************************************************************
Validation loss decreased (inf --> 10887.174805).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.54 .. Rec_loss: 12242.22 .. NELBO: 12243.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5426.39 .. NELBO: 5426.41
****************************************************************************************************
Validation loss decreased (10887.174805 --> 10852.803711).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.36 .. Rec_loss: 12190.42 .. NELBO: 12190.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.34 .. Rec_loss: 5398.4 .. NELBO: 5398.74
****************************************************************************************************
Validation loss decreased (10852.803711 --> 10797.476562).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.58 .. Rec_loss: 12106.62 .. NELBO: 12107.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.4 .. Rec_loss: 5362.17 .. NELBO: 5362.57
****************************************************************************************************
Validation loss decreased (10797.476562 --> 10725.134766).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 1.22 .. Rec_loss: 12000.13 .. NELBO: 12001.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.07 .. Rec_loss: 5325.92 .. NELBO: 5327.99
****************************************************************************************************
Validation loss decreased (10725.134766 --> 10655.996094).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 3.18 .. Rec_loss: 11892.68 .. NELBO: 11895.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.6 .. Rec_loss: 5303.48 .. NELBO: 5304.08
****************************************************************************************************
Validation loss decreased (10655.996094 --> 10608.153320).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 1.08 .. Rec_loss: 11815.48 .. NELBO: 11816.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 5302.61 .. NELBO: 5302.72
****************************************************************************************************
Validation loss decreased (10608.153320 --> 10605.439453).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.5 .. Rec_loss: 11782.18 .. NELBO: 11782.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.59 .. Rec_loss: 5320.39 .. NELBO: 5320.98
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 1.43 .. Rec_loss: 11784.48 .. NELBO: 11785.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.15 .. Rec_loss: 5341.25 .. NELBO: 5341.4
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 1.55 .. Rec_loss: 11792.52 .. NELBO: 11794.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.21 .. Rec_loss: 5347.51 .. NELBO: 5349.72
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 4.23 .. Rec_loss: 11782.86 .. NELBO: 11787.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.71 .. Rec_loss: 5345.46 .. NELBO: 5347.17
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 3.98 .. Rec_loss: 11769.93 .. NELBO: 11773.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.03 .. Rec_loss: 5336.16 .. NELBO: 5340.19
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.061095697927479986, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=76, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=76, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=76, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.28 .. Rec_loss: 12263.58 .. NELBO: 12263.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.15 .. Rec_loss: 5442.61 .. NELBO: 5443.76
****************************************************************************************************
Validation loss decreased (inf --> 10887.503906).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.47 .. Rec_loss: 12241.87 .. NELBO: 12243.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5425.99 .. NELBO: 5426.02
****************************************************************************************************
Validation loss decreased (10887.503906 --> 10852.038086).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.64 .. Rec_loss: 12188.56 .. NELBO: 12189.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.49 .. Rec_loss: 5397.31 .. NELBO: 5397.8
****************************************************************************************************
Validation loss decreased (10852.038086 --> 10795.593750).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.83 .. Rec_loss: 12102.06 .. NELBO: 12102.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.59 .. Rec_loss: 5360.88 .. NELBO: 5361.47
****************************************************************************************************
Validation loss decreased (10795.593750 --> 10722.950195).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 1.7 .. Rec_loss: 11995.79 .. NELBO: 11997.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.56 .. Rec_loss: 5325.08 .. NELBO: 5326.64
****************************************************************************************************
Validation loss decreased (10722.950195 --> 10653.279297).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 1.72 .. Rec_loss: 11890.44 .. NELBO: 11892.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 5303.31 .. NELBO: 5303.41
****************************************************************************************************
Validation loss decreased (10653.279297 --> 10606.836914).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 1.43 .. Rec_loss: 11813.53 .. NELBO: 11814.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.2 .. Rec_loss: 5303.64 .. NELBO: 5303.84
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.22 .. Rec_loss: 11782.58 .. NELBO: 11782.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.7 .. Rec_loss: 5322.01 .. NELBO: 5322.71
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 1.11 .. Rec_loss: 11785.66 .. NELBO: 11786.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 5342.17 .. NELBO: 5342.62
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.92 .. Rec_loss: 11793.32 .. NELBO: 11794.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.18 .. Rec_loss: 5347.8 .. NELBO: 5349.98
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 5.59 .. Rec_loss: 11782.9 .. NELBO: 11788.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.95 .. Rec_loss: 5340.64 .. NELBO: 5345.59
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.061095697927479986, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=76, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=76, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=76, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.32 .. Rec_loss: 12263.6 .. NELBO: 12263.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.72 .. Rec_loss: 5442.91 .. NELBO: 5443.63
****************************************************************************************************
Validation loss decreased (inf --> 10887.256836).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.44 .. Rec_loss: 12242.46 .. NELBO: 12243.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5426.93 .. NELBO: 5426.95
****************************************************************************************************
Validation loss decreased (10887.256836 --> 10853.891602).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.23 .. Rec_loss: 12191.88 .. NELBO: 12192.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.23 .. Rec_loss: 5399.48 .. NELBO: 5399.71
****************************************************************************************************
Validation loss decreased (10853.891602 --> 10799.409180).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 12108.94 .. NELBO: 12109.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.51 .. Rec_loss: 5363.45 .. NELBO: 5363.96
****************************************************************************************************
Validation loss decreased (10799.409180 --> 10727.920898).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 1.27 .. Rec_loss: 12002.97 .. NELBO: 12004.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.46 .. Rec_loss: 5327.49 .. NELBO: 5328.95
****************************************************************************************************
Validation loss decreased (10727.920898 --> 10657.895508).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 2.1 .. Rec_loss: 11896.45 .. NELBO: 11898.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.65 .. Rec_loss: 5304.27 .. NELBO: 5304.92
****************************************************************************************************
Validation loss decreased (10657.895508 --> 10609.841797).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 1.2 .. Rec_loss: 11817.46 .. NELBO: 11818.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.2 .. Rec_loss: 5302.65 .. NELBO: 5302.85
****************************************************************************************************
Validation loss decreased (10609.841797 --> 10605.697266).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.76 .. Rec_loss: 11782.86 .. NELBO: 11783.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.16 .. Rec_loss: 5320.52 .. NELBO: 5320.68
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.46 .. Rec_loss: 11784.85 .. NELBO: 11785.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.62 .. Rec_loss: 5340.93 .. NELBO: 5341.55
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 1.2 .. Rec_loss: 11792.79 .. NELBO: 11793.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.01 .. Rec_loss: 5349.13 .. NELBO: 5350.14
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 2.72 .. Rec_loss: 11786.44 .. NELBO: 11789.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.1 .. Rec_loss: 5345.36 .. NELBO: 5347.46
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 3.85 .. Rec_loss: 11771.21 .. NELBO: 11775.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.13 .. Rec_loss: 5338.61 .. NELBO: 5340.74
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  156
model: ETM(
  (t_drop): Dropout(p=0.06168860103318319, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=63, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=63, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=63, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 73.26 .. Rec_loss: 12263.93 .. NELBO: 12337.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.33 .. Rec_loss: 5443.62 .. NELBO: 5450.95
****************************************************************************************************
Validation loss decreased (inf --> 10901.898438).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.06 .. Rec_loss: 12247.29 .. NELBO: 12255.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 5431.57 .. NELBO: 5432.0
****************************************************************************************************
Validation loss decreased (10901.898438 --> 10864.002930).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.6 .. Rec_loss: 12207.84 .. NELBO: 12208.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5408.46 .. NELBO: 5408.52
****************************************************************************************************
Validation loss decreased (10864.002930 --> 10817.053711).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 12137.28 .. NELBO: 12137.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5375.94 .. NELBO: 5375.96
****************************************************************************************************
Validation loss decreased (10817.053711 --> 10751.924805).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12041.52 .. NELBO: 12041.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5339.71 .. NELBO: 5339.72
****************************************************************************************************
Validation loss decreased (10751.924805 --> 10679.438477).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11933.44 .. NELBO: 11933.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5310.36 .. NELBO: 5310.37
****************************************************************************************************
Validation loss decreased (10679.438477 --> 10620.746094).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11841.22 .. NELBO: 11841.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.11 .. NELBO: 5300.12
****************************************************************************************************
Validation loss decreased (10620.746094 --> 10600.247070).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11788.41 .. NELBO: 11788.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5312.85 .. NELBO: 5312.86
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11780.95 .. NELBO: 11780.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5336.05 .. NELBO: 5336.06
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11793.15 .. NELBO: 11793.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5351.39 .. NELBO: 5351.4
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.77 .. NELBO: 11795.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.1 .. NELBO: 5353.11
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11784.2 .. NELBO: 11784.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5347.05 .. NELBO: 5347.06
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06168860103318319, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=63, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=63, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=63, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 80.47 .. Rec_loss: 12264.06 .. NELBO: 12344.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.66 .. Rec_loss: 5443.97 .. NELBO: 5451.63
****************************************************************************************************
Validation loss decreased (inf --> 10903.271484).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.22 .. Rec_loss: 12248.86 .. NELBO: 12257.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 5432.32 .. NELBO: 5432.77
****************************************************************************************************
Validation loss decreased (10903.271484 --> 10865.550781).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.67 .. Rec_loss: 12210.07 .. NELBO: 12210.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5410.0 .. NELBO: 5410.09
****************************************************************************************************
Validation loss decreased (10865.550781 --> 10820.179688).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 12140.86 .. NELBO: 12140.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5378.02 .. NELBO: 5378.05
****************************************************************************************************
Validation loss decreased (10820.179688 --> 10756.092773).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12047.05 .. NELBO: 12047.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5341.83 .. NELBO: 5341.85
****************************************************************************************************
Validation loss decreased (10756.092773 --> 10683.695312).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11939.41 .. NELBO: 11939.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5311.79 .. NELBO: 5311.8
****************************************************************************************************
Validation loss decreased (10683.695312 --> 10623.615234).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11845.13 .. NELBO: 11845.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.22 .. NELBO: 5300.23
****************************************************************************************************
Validation loss decreased (10623.615234 --> 10600.461914).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11789.49 .. NELBO: 11789.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5311.93 .. NELBO: 5311.94
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11780.3 .. NELBO: 11780.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5335.29 .. NELBO: 5335.3
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11792.59 .. NELBO: 11792.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5351.45 .. NELBO: 5351.46
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.56 .. NELBO: 11796.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.67 .. NELBO: 5353.68
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11785.35 .. NELBO: 11785.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5347.66 .. NELBO: 5347.67
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06168860103318319, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=63, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=63, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=63, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 82.71 .. Rec_loss: 12263.74 .. NELBO: 12346.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.51 .. Rec_loss: 5443.5 .. NELBO: 5451.01
****************************************************************************************************
Validation loss decreased (inf --> 10902.016602).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.15 .. Rec_loss: 12247.14 .. NELBO: 12255.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 5431.27 .. NELBO: 5431.72
****************************************************************************************************
Validation loss decreased (10902.016602 --> 10863.440430).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.66 .. Rec_loss: 12207.15 .. NELBO: 12207.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5407.97 .. NELBO: 5408.06
****************************************************************************************************
Validation loss decreased (10863.440430 --> 10816.120117).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 12135.77 .. NELBO: 12135.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5375.15 .. NELBO: 5375.17
****************************************************************************************************
Validation loss decreased (10816.120117 --> 10750.350586).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12038.76 .. NELBO: 12038.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5338.81 .. NELBO: 5338.83
****************************************************************************************************
Validation loss decreased (10750.350586 --> 10677.657227).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11930.88 .. NELBO: 11930.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5309.76 .. NELBO: 5309.77
****************************************************************************************************
Validation loss decreased (10677.657227 --> 10619.552734).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11838.52 .. NELBO: 11838.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.18 .. NELBO: 5300.19
****************************************************************************************************
Validation loss decreased (10619.552734 --> 10600.385742).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11786.97 .. NELBO: 11787.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5313.62 .. NELBO: 5313.63
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11780.97 .. NELBO: 11781.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.05 .. NELBO: 5337.07
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11793.98 .. NELBO: 11794.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.96 .. NELBO: 5351.98
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.43 .. NELBO: 11795.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.09 .. NELBO: 5353.1
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11783.86 .. NELBO: 11783.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5346.74 .. NELBO: 5346.75
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  157
model: ETM(
  (t_drop): Dropout(p=0.14110007842096517, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=69, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=69, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=69, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 66.15 .. Rec_loss: 12264.16 .. NELBO: 12330.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.77 .. Rec_loss: 5444.0 .. NELBO: 5450.77
****************************************************************************************************
Validation loss decreased (inf --> 10901.546875).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.49 .. Rec_loss: 12248.54 .. NELBO: 12256.03
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.31 .. Rec_loss: 5432.0 .. NELBO: 5432.31
****************************************************************************************************
Validation loss decreased (10901.546875 --> 10864.604492).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.44 .. Rec_loss: 12208.88 .. NELBO: 12209.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5408.98 .. NELBO: 5409.03
****************************************************************************************************
Validation loss decreased (10864.604492 --> 10818.067383).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 12138.48 .. NELBO: 12138.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5376.33 .. NELBO: 5376.35
****************************************************************************************************
Validation loss decreased (10818.067383 --> 10752.691406).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12042.26 .. NELBO: 12042.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5339.88 .. NELBO: 5339.9
****************************************************************************************************
Validation loss decreased (10752.691406 --> 10679.799805).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11934.31 .. NELBO: 11934.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.39 .. NELBO: 5310.41
****************************************************************************************************
Validation loss decreased (10679.799805 --> 10620.812500).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11841.8 .. NELBO: 11841.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.09 .. NELBO: 5300.11
****************************************************************************************************
Validation loss decreased (10620.812500 --> 10600.204102).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11789.08 .. NELBO: 11789.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.86 .. NELBO: 5312.88
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.53 .. NELBO: 11781.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.09 .. NELBO: 5336.11
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11793.62 .. NELBO: 11793.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.33 .. NELBO: 5351.35
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.67 .. NELBO: 11795.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.91 .. NELBO: 5352.93
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11783.52 .. NELBO: 11783.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.85 .. NELBO: 5346.87
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.14110007842096517, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=69, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=69, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=69, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 66.71 .. Rec_loss: 12263.94 .. NELBO: 12330.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.85 .. Rec_loss: 5443.65 .. NELBO: 5450.5
****************************************************************************************************
Validation loss decreased (inf --> 10901.007812).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.6 .. Rec_loss: 12246.99 .. NELBO: 12254.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.28 .. Rec_loss: 5431.09 .. NELBO: 5431.37
****************************************************************************************************
Validation loss decreased (10901.007812 --> 10862.736328).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.4 .. Rec_loss: 12206.27 .. NELBO: 12206.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5407.88 .. NELBO: 5407.93
****************************************************************************************************
Validation loss decreased (10862.736328 --> 10815.864258).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 12135.07 .. NELBO: 12135.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5375.38 .. NELBO: 5375.4
****************************************************************************************************
Validation loss decreased (10815.864258 --> 10750.808594).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12038.78 .. NELBO: 12038.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5339.48 .. NELBO: 5339.5
****************************************************************************************************
Validation loss decreased (10750.808594 --> 10678.995117).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11932.58 .. NELBO: 11932.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.64 .. NELBO: 5310.66
****************************************************************************************************
Validation loss decreased (10678.995117 --> 10621.320312).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11840.79 .. NELBO: 11840.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.62 .. NELBO: 5300.64
****************************************************************************************************
Validation loss decreased (10621.320312 --> 10601.282227).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11788.73 .. NELBO: 11788.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.03 .. NELBO: 5313.05
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.23 .. NELBO: 11781.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.71 .. NELBO: 5335.73
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11792.68 .. NELBO: 11792.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.86 .. NELBO: 5350.88
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.46 .. NELBO: 11795.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.64 .. NELBO: 5352.66
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11784.03 .. NELBO: 11784.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.7 .. NELBO: 5346.72
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.14110007842096517, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=69, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=69, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=69, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 70.26 .. Rec_loss: 12264.39 .. NELBO: 12334.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.1 .. Rec_loss: 5444.27 .. NELBO: 5451.37
****************************************************************************************************
Validation loss decreased (inf --> 10902.742188).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.87 .. Rec_loss: 12249.24 .. NELBO: 12257.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.34 .. Rec_loss: 5432.48 .. NELBO: 5432.82
****************************************************************************************************
Validation loss decreased (10902.742188 --> 10865.650391).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.48 .. Rec_loss: 12211.13 .. NELBO: 12211.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5410.23 .. NELBO: 5410.28
****************************************************************************************************
Validation loss decreased (10865.650391 --> 10820.572266).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 12142.58 .. NELBO: 12142.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5378.24 .. NELBO: 5378.26
****************************************************************************************************
Validation loss decreased (10820.572266 --> 10756.518555).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12047.64 .. NELBO: 12047.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5341.97 .. NELBO: 5341.99
****************************************************************************************************
Validation loss decreased (10756.518555 --> 10683.980469).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11940.09 .. NELBO: 11940.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.81 .. NELBO: 5311.83
****************************************************************************************************
Validation loss decreased (10683.980469 --> 10623.649414).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11845.2 .. NELBO: 11845.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.09 .. NELBO: 5300.11
****************************************************************************************************
Validation loss decreased (10623.649414 --> 10600.215820).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11790.08 .. NELBO: 11790.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.69 .. NELBO: 5311.71
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11780.5 .. NELBO: 11780.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.06 .. NELBO: 5335.08
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11792.92 .. NELBO: 11792.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.29 .. NELBO: 5351.31
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.39 .. NELBO: 11796.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.59 .. NELBO: 5353.61
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11785.07 .. NELBO: 11785.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.67 .. NELBO: 5347.69
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  158
model: ETM(
  (t_drop): Dropout(p=0.0025081212607170117, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=71, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=71, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=71, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 70.74 .. Rec_loss: 12264.11 .. NELBO: 12334.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.71 .. Rec_loss: 5443.51 .. NELBO: 5450.22
****************************************************************************************************
Validation loss decreased (inf --> 10900.443359).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.21 .. Rec_loss: 12246.74 .. NELBO: 12253.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 5430.63 .. NELBO: 5431.02
****************************************************************************************************
Validation loss decreased (10900.443359 --> 10862.032227).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.56 .. Rec_loss: 12204.75 .. NELBO: 12205.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5406.74 .. NELBO: 5406.81
****************************************************************************************************
Validation loss decreased (10862.032227 --> 10813.631836).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12132.22 .. NELBO: 12132.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5373.48 .. NELBO: 5373.51
****************************************************************************************************
Validation loss decreased (10813.631836 --> 10747.014648).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12034.49 .. NELBO: 12034.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.19 .. NELBO: 5337.21
****************************************************************************************************
Validation loss decreased (10747.014648 --> 10674.427734).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11926.77 .. NELBO: 11926.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5308.9 .. NELBO: 5308.92
****************************************************************************************************
Validation loss decreased (10674.427734 --> 10617.835938).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11836.35 .. NELBO: 11836.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.45 .. NELBO: 5300.47
****************************************************************************************************
Validation loss decreased (10617.835938 --> 10600.943359).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11787.27 .. NELBO: 11787.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5314.56 .. NELBO: 5314.58
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11782.5 .. NELBO: 11782.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.51 .. NELBO: 5337.53
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.89 .. NELBO: 11793.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.57 .. NELBO: 5351.59
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11794.66 .. NELBO: 11794.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.37 .. NELBO: 5352.39
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11783.21 .. NELBO: 11783.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.09 .. NELBO: 5346.11
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.0025081212607170117, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=71, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=71, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=71, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 85.38 .. Rec_loss: 12264.25 .. NELBO: 12349.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.6 .. Rec_loss: 5443.99 .. NELBO: 5451.59
****************************************************************************************************
Validation loss decreased (inf --> 10903.173828).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.1 .. Rec_loss: 12248.4 .. NELBO: 12256.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.46 .. Rec_loss: 5432.26 .. NELBO: 5432.72
****************************************************************************************************
Validation loss decreased (10903.173828 --> 10865.424805).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.66 .. Rec_loss: 12209.47 .. NELBO: 12210.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5409.8 .. NELBO: 5409.88
****************************************************************************************************
Validation loss decreased (10865.424805 --> 10819.754883).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12140.62 .. NELBO: 12140.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5377.67 .. NELBO: 5377.7
****************************************************************************************************
Validation loss decreased (10819.754883 --> 10755.391602).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12045.42 .. NELBO: 12045.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5341.48 .. NELBO: 5341.5
****************************************************************************************************
Validation loss decreased (10755.391602 --> 10683.000977).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11938.44 .. NELBO: 11938.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.66 .. NELBO: 5311.68
****************************************************************************************************
Validation loss decreased (10683.000977 --> 10623.356445).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11844.45 .. NELBO: 11844.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.44 .. NELBO: 5300.46
****************************************************************************************************
Validation loss decreased (10623.356445 --> 10600.915039).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11789.76 .. NELBO: 11789.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.33 .. NELBO: 5312.35
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11780.9 .. NELBO: 11780.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.44 .. NELBO: 5335.46
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11793.02 .. NELBO: 11793.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.16 .. NELBO: 5351.18
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.85 .. NELBO: 11795.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.22 .. NELBO: 5353.24
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11784.65 .. NELBO: 11784.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.31 .. NELBO: 5347.33
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.0025081212607170117, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=71, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=71, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=71, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 84.48 .. Rec_loss: 12264.32 .. NELBO: 12348.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.71 .. Rec_loss: 5444.24 .. NELBO: 5451.95
****************************************************************************************************
Validation loss decreased (inf --> 10903.885742).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.23 .. Rec_loss: 12249.73 .. NELBO: 12257.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.48 .. Rec_loss: 5433.46 .. NELBO: 5433.94
****************************************************************************************************
Validation loss decreased (10903.885742 --> 10867.899414).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.7 .. Rec_loss: 12214.25 .. NELBO: 12214.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5412.11 .. NELBO: 5412.19
****************************************************************************************************
Validation loss decreased (10867.899414 --> 10824.389648).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12147.83 .. NELBO: 12147.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5380.98 .. NELBO: 5381.01
****************************************************************************************************
Validation loss decreased (10824.389648 --> 10762.007812).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12055.08 .. NELBO: 12055.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5345.04 .. NELBO: 5345.06
****************************************************************************************************
Validation loss decreased (10762.007812 --> 10690.120117).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11948.72 .. NELBO: 11948.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5314.12 .. NELBO: 5314.14
****************************************************************************************************
Validation loss decreased (10690.120117 --> 10628.263672).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11852.25 .. NELBO: 11852.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.51 .. NELBO: 5300.53
****************************************************************************************************
Validation loss decreased (10628.263672 --> 10601.047852).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11792.54 .. NELBO: 11792.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.16 .. NELBO: 5310.18
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11779.69 .. NELBO: 11779.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5333.06 .. NELBO: 5333.08
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11791.11 .. NELBO: 11791.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.42 .. NELBO: 5350.44
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.85 .. NELBO: 11796.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.97 .. NELBO: 5353.99
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11786.36 .. NELBO: 11786.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5348.55 .. NELBO: 5348.57
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  159
model: ETM(
  (t_drop): Dropout(p=0.06076803014220726, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=63, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=63, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=63, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 79.1 .. Rec_loss: 12263.84 .. NELBO: 12342.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.38 .. Rec_loss: 5443.54 .. NELBO: 5450.92
****************************************************************************************************
Validation loss decreased (inf --> 10901.838867).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.92 .. Rec_loss: 12246.36 .. NELBO: 12254.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.36 .. Rec_loss: 5430.39 .. NELBO: 5430.75
****************************************************************************************************
Validation loss decreased (10901.838867 --> 10861.504883).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.53 .. Rec_loss: 12203.88 .. NELBO: 12204.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5406.26 .. NELBO: 5406.33
****************************************************************************************************
Validation loss decreased (10861.504883 --> 10812.660156).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12130.46 .. NELBO: 12130.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5372.71 .. NELBO: 5372.73
****************************************************************************************************
Validation loss decreased (10812.660156 --> 10745.470703).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12031.46 .. NELBO: 12031.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.21 .. NELBO: 5336.23
****************************************************************************************************
Validation loss decreased (10745.470703 --> 10672.447266).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11923.07 .. NELBO: 11923.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5308.06 .. NELBO: 5308.08
****************************************************************************************************
Validation loss decreased (10672.447266 --> 10616.155273).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11832.93 .. NELBO: 11832.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.38 .. NELBO: 5300.4
****************************************************************************************************
Validation loss decreased (10616.155273 --> 10600.793945).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11785.24 .. NELBO: 11785.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5315.52 .. NELBO: 5315.54
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11782.07 .. NELBO: 11782.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5338.99 .. NELBO: 5339.01
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.33 .. NELBO: 11795.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.66 .. NELBO: 5352.68
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.07 .. NELBO: 11795.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.84 .. NELBO: 5352.86
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11782.11 .. NELBO: 11782.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.23 .. NELBO: 5346.25
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06076803014220726, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=63, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=63, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=63, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 86.28 .. Rec_loss: 12264.07 .. NELBO: 12350.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.77 .. Rec_loss: 5443.97 .. NELBO: 5451.74
****************************************************************************************************
Validation loss decreased (inf --> 10903.479492).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.37 .. Rec_loss: 12249.15 .. NELBO: 12257.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.54 .. Rec_loss: 5433.14 .. NELBO: 5433.68
****************************************************************************************************
Validation loss decreased (10903.479492 --> 10867.359375).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.81 .. Rec_loss: 12213.19 .. NELBO: 12214.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 5411.46 .. NELBO: 5411.57
****************************************************************************************************
Validation loss decreased (10867.359375 --> 10823.139648).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.17 .. Rec_loss: 12146.15 .. NELBO: 12146.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5380.03 .. NELBO: 5380.06
****************************************************************************************************
Validation loss decreased (10823.139648 --> 10760.126953).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12053.17 .. NELBO: 12053.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5343.96 .. NELBO: 5343.98
****************************************************************************************************
Validation loss decreased (10760.126953 --> 10687.964844).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11945.41 .. NELBO: 11945.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5313.22 .. NELBO: 5313.23
****************************************************************************************************
Validation loss decreased (10687.964844 --> 10626.473633).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11850.42 .. NELBO: 11850.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.11 .. NELBO: 5300.12
****************************************************************************************************
Validation loss decreased (10626.473633 --> 10600.252930).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11791.84 .. NELBO: 11791.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5310.35 .. NELBO: 5310.36
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11780.08 .. NELBO: 11780.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5333.52 .. NELBO: 5333.53
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11792.09 .. NELBO: 11792.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5350.58 .. NELBO: 5350.59
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11797.01 .. NELBO: 11797.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.72 .. NELBO: 5353.73
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11786.16 .. NELBO: 11786.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5348.13 .. NELBO: 5348.14
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06076803014220726, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=63, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=63, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=63, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 75.54 .. Rec_loss: 12263.84 .. NELBO: 12339.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.16 .. Rec_loss: 5443.72 .. NELBO: 5450.88
****************************************************************************************************
Validation loss decreased (inf --> 10901.768555).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.72 .. Rec_loss: 12247.43 .. NELBO: 12255.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 5431.66 .. NELBO: 5432.04
****************************************************************************************************
Validation loss decreased (10901.768555 --> 10864.077148).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.55 .. Rec_loss: 12207.71 .. NELBO: 12208.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5408.54 .. NELBO: 5408.61
****************************************************************************************************
Validation loss decreased (10864.077148 --> 10817.209961).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12137.0 .. NELBO: 12137.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5375.96 .. NELBO: 5375.98
****************************************************************************************************
Validation loss decreased (10817.209961 --> 10751.968750).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12040.39 .. NELBO: 12040.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5339.76 .. NELBO: 5339.78
****************************************************************************************************
Validation loss decreased (10751.968750 --> 10679.556641).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11933.2 .. NELBO: 11933.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.53 .. NELBO: 5310.55
****************************************************************************************************
Validation loss decreased (10679.556641 --> 10621.094727).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11840.78 .. NELBO: 11840.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.35 .. NELBO: 5300.37
****************************************************************************************************
Validation loss decreased (10621.094727 --> 10600.729492).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11787.98 .. NELBO: 11788.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.09 .. NELBO: 5313.11
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.88 .. NELBO: 11780.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.26 .. NELBO: 5336.28
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.19 .. NELBO: 11793.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.58 .. NELBO: 5351.6
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.08 .. NELBO: 11796.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.2 .. NELBO: 5353.22
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11784.22 .. NELBO: 11784.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.08 .. NELBO: 5347.1
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  160
model: ETM(
  (t_drop): Dropout(p=0.05603364669436245, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=97, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=97, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=97, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 102.09 .. Rec_loss: 12264.37 .. NELBO: 12366.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.67 .. Rec_loss: 5444.49 .. NELBO: 5453.16
****************************************************************************************************
Validation loss decreased (inf --> 10906.314453).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 9.33 .. Rec_loss: 12249.77 .. NELBO: 12259.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.49 .. Rec_loss: 5432.69 .. NELBO: 5433.18
****************************************************************************************************
Validation loss decreased (10906.314453 --> 10866.354492).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.71 .. Rec_loss: 12211.27 .. NELBO: 12211.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5410.1 .. NELBO: 5410.19
****************************************************************************************************
Validation loss decreased (10866.354492 --> 10820.372070).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 12141.91 .. NELBO: 12142.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5377.64 .. NELBO: 5377.67
****************************************************************************************************
Validation loss decreased (10820.372070 --> 10755.337891).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 12045.63 .. NELBO: 12045.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5341.07 .. NELBO: 5341.09
****************************************************************************************************
Validation loss decreased (10755.337891 --> 10682.187500).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11937.69 .. NELBO: 11937.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.2 .. NELBO: 5311.22
****************************************************************************************************
Validation loss decreased (10682.187500 --> 10622.444336).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11843.64 .. NELBO: 11843.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.43 .. NELBO: 5300.45
****************************************************************************************************
Validation loss decreased (10622.444336 --> 10600.899414).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11790.16 .. NELBO: 11790.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.96 .. NELBO: 5312.98
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11781.72 .. NELBO: 11781.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.26 .. NELBO: 5336.28
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11793.81 .. NELBO: 11793.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.65 .. NELBO: 5351.67
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11796.36 .. NELBO: 11796.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.28 .. NELBO: 5353.3
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11784.27 .. NELBO: 11784.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.16 .. NELBO: 5347.18
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05603364669436245, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=97, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=97, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=97, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 103.47 .. Rec_loss: 12264.72 .. NELBO: 12368.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 9.3 .. Rec_loss: 5444.44 .. NELBO: 5453.74
****************************************************************************************************
Validation loss decreased (inf --> 10907.480469).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 10.05 .. Rec_loss: 12249.95 .. NELBO: 12260.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.53 .. Rec_loss: 5433.42 .. NELBO: 5433.95
****************************************************************************************************
Validation loss decreased (10907.480469 --> 10867.896484).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.75 .. Rec_loss: 12214.12 .. NELBO: 12214.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5412.25 .. NELBO: 5412.34
****************************************************************************************************
Validation loss decreased (10867.896484 --> 10824.670898).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 12148.84 .. NELBO: 12148.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5381.35 .. NELBO: 5381.38
****************************************************************************************************
Validation loss decreased (10824.670898 --> 10762.758789).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 12057.24 .. NELBO: 12057.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5345.58 .. NELBO: 5345.61
****************************************************************************************************
Validation loss decreased (10762.758789 --> 10691.206055).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11951.02 .. NELBO: 11951.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5314.57 .. NELBO: 5314.59
****************************************************************************************************
Validation loss decreased (10691.206055 --> 10629.196289).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11854.83 .. NELBO: 11854.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.55 .. NELBO: 5300.57
****************************************************************************************************
Validation loss decreased (10629.196289 --> 10601.138672).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11794.41 .. NELBO: 11794.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5309.65 .. NELBO: 5309.67
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11780.45 .. NELBO: 11780.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5332.33 .. NELBO: 5332.35
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11791.49 .. NELBO: 11791.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5349.73 .. NELBO: 5349.75
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11796.5 .. NELBO: 11796.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.46 .. NELBO: 5353.48
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11786.8 .. NELBO: 11786.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5348.21 .. NELBO: 5348.23
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05603364669436245, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=97, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=97, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=97, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 101.25 .. Rec_loss: 12264.59 .. NELBO: 12365.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.76 .. Rec_loss: 5444.26 .. NELBO: 5452.02
****************************************************************************************************
Validation loss decreased (inf --> 10904.043945).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.5 .. Rec_loss: 12249.36 .. NELBO: 12257.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.56 .. Rec_loss: 5432.79 .. NELBO: 5433.35
****************************************************************************************************
Validation loss decreased (10904.043945 --> 10866.700195).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.79 .. Rec_loss: 12211.75 .. NELBO: 12212.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5411.0 .. NELBO: 5411.09
****************************************************************************************************
Validation loss decreased (10866.700195 --> 10822.180664).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 12144.57 .. NELBO: 12144.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5379.69 .. NELBO: 5379.72
****************************************************************************************************
Validation loss decreased (10822.180664 --> 10759.436523).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 12052.15 .. NELBO: 12052.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5343.94 .. NELBO: 5343.96
****************************************************************************************************
Validation loss decreased (10759.436523 --> 10687.935547).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11946.01 .. NELBO: 11946.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.56 .. NELBO: 5313.58
****************************************************************************************************
Validation loss decreased (10687.935547 --> 10627.161133).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11850.89 .. NELBO: 11850.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.55 .. NELBO: 5300.57
****************************************************************************************************
Validation loss decreased (10627.161133 --> 10601.143555).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11792.98 .. NELBO: 11793.03
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.4 .. NELBO: 5310.42
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11780.11 .. NELBO: 11780.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5332.99 .. NELBO: 5333.01
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11791.08 .. NELBO: 11791.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5349.84 .. NELBO: 5349.86
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11796.27 .. NELBO: 11796.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.15 .. NELBO: 5353.17
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11785.77 .. NELBO: 11785.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.79 .. NELBO: 5347.81
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  161
model: ETM(
  (t_drop): Dropout(p=0.06156872538790842, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=69, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=69, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=69, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.28 .. Rec_loss: 12263.5 .. NELBO: 12263.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.84 .. Rec_loss: 5442.53 .. NELBO: 5443.37
****************************************************************************************************
Validation loss decreased (inf --> 10886.736328).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.5 .. Rec_loss: 12241.23 .. NELBO: 12242.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5425.67 .. NELBO: 5425.71
****************************************************************************************************
Validation loss decreased (10886.736328 --> 10851.405273).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.24 .. Rec_loss: 12187.45 .. NELBO: 12187.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.26 .. Rec_loss: 5397.14 .. NELBO: 5397.4
****************************************************************************************************
Validation loss decreased (10851.405273 --> 10794.791016).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.48 .. Rec_loss: 12102.06 .. NELBO: 12102.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.4 .. Rec_loss: 5360.52 .. NELBO: 5360.92
****************************************************************************************************
Validation loss decreased (10794.791016 --> 10721.845703).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 1.13 .. Rec_loss: 11994.09 .. NELBO: 11995.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.69 .. Rec_loss: 5324.67 .. NELBO: 5326.36
****************************************************************************************************
Validation loss decreased (10721.845703 --> 10652.719727).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 2.23 .. Rec_loss: 11888.29 .. NELBO: 11890.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 5303.13 .. NELBO: 5303.52
****************************************************************************************************
Validation loss decreased (10652.719727 --> 10607.038086).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 1.26 .. Rec_loss: 11812.1 .. NELBO: 11813.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.17 .. Rec_loss: 5303.49 .. NELBO: 5303.66
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.56 .. Rec_loss: 11781.01 .. NELBO: 11781.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 5322.53 .. NELBO: 5322.65
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.46 .. Rec_loss: 11785.46 .. NELBO: 11785.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.79 .. Rec_loss: 5342.18 .. NELBO: 5342.97
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 1.27 .. Rec_loss: 11793.0 .. NELBO: 11794.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.32 .. Rec_loss: 5349.05 .. NELBO: 5350.37
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 3.85 .. Rec_loss: 11785.08 .. NELBO: 11788.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.59 .. Rec_loss: 5345.39 .. NELBO: 5346.98
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06156872538790842, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=69, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=69, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=69, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 12263.54 .. NELBO: 12263.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.56 .. Rec_loss: 5442.78 .. NELBO: 5443.34
****************************************************************************************************
Validation loss decreased (inf --> 10886.684570).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.69 .. Rec_loss: 12242.21 .. NELBO: 12243.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5426.74 .. NELBO: 5426.77
****************************************************************************************************
Validation loss decreased (10886.684570 --> 10853.530273).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 12191.62 .. NELBO: 12191.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 5399.45 .. NELBO: 5399.59
****************************************************************************************************
Validation loss decreased (10853.530273 --> 10799.180664).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.28 .. Rec_loss: 12108.95 .. NELBO: 12109.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.35 .. Rec_loss: 5363.64 .. NELBO: 5363.99
****************************************************************************************************
Validation loss decreased (10799.180664 --> 10727.973633).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 1.27 .. Rec_loss: 12003.4 .. NELBO: 12004.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.5 .. Rec_loss: 5327.73 .. NELBO: 5329.23
****************************************************************************************************
Validation loss decreased (10727.973633 --> 10658.473633).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 2.3 .. Rec_loss: 11897.83 .. NELBO: 11900.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.37 .. Rec_loss: 5304.55 .. NELBO: 5304.92
****************************************************************************************************
Validation loss decreased (10658.473633 --> 10609.837891).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.53 .. Rec_loss: 11818.96 .. NELBO: 11819.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 5302.61 .. NELBO: 5302.74
****************************************************************************************************
Validation loss decreased (10609.837891 --> 10605.491211).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.28 .. Rec_loss: 11783.07 .. NELBO: 11783.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.16 .. Rec_loss: 5320.09 .. NELBO: 5320.25
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 11784.55 .. NELBO: 11785.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.65 .. Rec_loss: 5340.54 .. NELBO: 5341.19
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 1.11 .. Rec_loss: 11793.02 .. NELBO: 11794.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.86 .. Rec_loss: 5348.35 .. NELBO: 5350.21
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 3.51 .. Rec_loss: 11784.76 .. NELBO: 11788.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.96 .. Rec_loss: 5344.79 .. NELBO: 5347.75
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 6.73 .. Rec_loss: 11769.33 .. NELBO: 11776.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.54 .. Rec_loss: 5337.9 .. NELBO: 5341.44
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06156872538790842, inplace=False)
  (theta_act): SELU()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=69, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): SELU()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): SELU()
  )
  (mu_q_theta): Linear(in_features=800, out_features=69, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=69, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 0.35 .. Rec_loss: 12263.38 .. NELBO: 12263.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.66 .. Rec_loss: 5442.45 .. NELBO: 5443.11
****************************************************************************************************
Validation loss decreased (inf --> 10886.232422).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 1.6 .. Rec_loss: 12240.52 .. NELBO: 12242.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5425.54 .. NELBO: 5425.59
****************************************************************************************************
Validation loss decreased (10886.232422 --> 10851.163086).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.15 .. Rec_loss: 12187.5 .. NELBO: 12187.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.18 .. Rec_loss: 5397.12 .. NELBO: 5397.3
****************************************************************************************************
Validation loss decreased (10851.163086 --> 10794.618164).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.33 .. Rec_loss: 12102.09 .. NELBO: 12102.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.23 .. Rec_loss: 5360.57 .. NELBO: 5360.8
****************************************************************************************************
Validation loss decreased (10794.618164 --> 10721.598633).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.64 .. Rec_loss: 11994.56 .. NELBO: 11995.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.07 .. Rec_loss: 5324.82 .. NELBO: 5325.89
****************************************************************************************************
Validation loss decreased (10721.598633 --> 10651.770508).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 1.89 .. Rec_loss: 11887.43 .. NELBO: 11889.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.91 .. Rec_loss: 5303.18 .. NELBO: 5304.09
****************************************************************************************************
Validation loss decreased (10651.770508 --> 10608.193359).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 1.31 .. Rec_loss: 11811.84 .. NELBO: 11813.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.16 .. Rec_loss: 5304.0 .. NELBO: 5304.16
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.67 .. Rec_loss: 11782.22 .. NELBO: 11782.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 5323.14 .. NELBO: 5323.26
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.47 .. Rec_loss: 11785.97 .. NELBO: 11786.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.64 .. Rec_loss: 5342.84 .. NELBO: 5343.48
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 1.18 .. Rec_loss: 11793.25 .. NELBO: 11794.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.0 .. Rec_loss: 5348.99 .. NELBO: 5350.99
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 3.84 .. Rec_loss: 11784.48 .. NELBO: 11788.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.05 .. Rec_loss: 5345.41 .. NELBO: 5347.46
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  162
model: ETM(
  (t_drop): Dropout(p=0.06738856822622681, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=64, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=64, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=64, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 77.37 .. Rec_loss: 12263.86 .. NELBO: 12341.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.92 .. Rec_loss: 5443.83 .. NELBO: 5450.75
****************************************************************************************************
Validation loss decreased (inf --> 10901.496094).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.48 .. Rec_loss: 12248.18 .. NELBO: 12255.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.4 .. Rec_loss: 5431.92 .. NELBO: 5432.32
****************************************************************************************************
Validation loss decreased (10901.496094 --> 10864.646484).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.58 .. Rec_loss: 12209.22 .. NELBO: 12209.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5409.24 .. NELBO: 5409.31
****************************************************************************************************
Validation loss decreased (10864.646484 --> 10818.611328).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12139.26 .. NELBO: 12139.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5376.93 .. NELBO: 5376.95
****************************************************************************************************
Validation loss decreased (10818.611328 --> 10753.909180).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12043.57 .. NELBO: 12043.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5340.65 .. NELBO: 5340.66
****************************************************************************************************
Validation loss decreased (10753.909180 --> 10681.331055).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11935.71 .. NELBO: 11935.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5310.95 .. NELBO: 5310.96
****************************************************************************************************
Validation loss decreased (10681.331055 --> 10621.916992).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11842.4 .. NELBO: 11842.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.09 .. NELBO: 5300.1
****************************************************************************************************
Validation loss decreased (10621.916992 --> 10600.208984).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11788.51 .. NELBO: 11788.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5312.49 .. NELBO: 5312.5
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11780.45 .. NELBO: 11780.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5336.01 .. NELBO: 5336.02
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11793.23 .. NELBO: 11793.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.83 .. NELBO: 5351.85
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.24 .. NELBO: 11796.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.71 .. NELBO: 5353.72
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11784.51 .. NELBO: 11784.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5347.55 .. NELBO: 5347.56
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06738856822622681, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=64, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=64, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=64, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 84.76 .. Rec_loss: 12264.2 .. NELBO: 12348.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.78 .. Rec_loss: 5443.95 .. NELBO: 5451.73
****************************************************************************************************
Validation loss decreased (inf --> 10903.458008).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.46 .. Rec_loss: 12248.79 .. NELBO: 12257.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 5432.47 .. NELBO: 5432.92
****************************************************************************************************
Validation loss decreased (10903.458008 --> 10865.835938).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.65 .. Rec_loss: 12210.41 .. NELBO: 12211.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5409.97 .. NELBO: 5410.04
****************************************************************************************************
Validation loss decreased (10865.835938 --> 10820.083008).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12142.1 .. NELBO: 12142.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5377.65 .. NELBO: 5377.67
****************************************************************************************************
Validation loss decreased (10820.083008 --> 10755.347656).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12045.32 .. NELBO: 12045.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5341.17 .. NELBO: 5341.19
****************************************************************************************************
Validation loss decreased (10755.347656 --> 10682.379883).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11937.9 .. NELBO: 11937.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5311.07 .. NELBO: 5311.08
****************************************************************************************************
Validation loss decreased (10682.379883 --> 10622.175781).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11842.72 .. NELBO: 11842.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5299.81 .. NELBO: 5299.82
****************************************************************************************************
Validation loss decreased (10622.175781 --> 10599.659180).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11788.51 .. NELBO: 11788.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.09 .. NELBO: 5312.11
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11779.98 .. NELBO: 11780.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.86 .. NELBO: 5335.88
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11793.42 .. NELBO: 11793.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.02 .. NELBO: 5352.04
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11797.52 .. NELBO: 11797.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.99 .. NELBO: 5354.01
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11785.11 .. NELBO: 11785.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.76 .. NELBO: 5347.78
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06738856822622681, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=64, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=64, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=64, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 86.24 .. Rec_loss: 12264.05 .. NELBO: 12350.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.03 .. Rec_loss: 5443.95 .. NELBO: 5451.98
****************************************************************************************************
Validation loss decreased (inf --> 10903.960938).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.6 .. Rec_loss: 12247.97 .. NELBO: 12256.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.49 .. Rec_loss: 5431.95 .. NELBO: 5432.44
****************************************************************************************************
Validation loss decreased (10903.960938 --> 10864.880859).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.72 .. Rec_loss: 12209.07 .. NELBO: 12209.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5409.37 .. NELBO: 5409.46
****************************************************************************************************
Validation loss decreased (10864.880859 --> 10818.933594).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 12139.75 .. NELBO: 12139.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5377.17 .. NELBO: 5377.2
****************************************************************************************************
Validation loss decreased (10818.933594 --> 10754.403320).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12044.27 .. NELBO: 12044.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5341.0 .. NELBO: 5341.02
****************************************************************************************************
Validation loss decreased (10754.403320 --> 10682.036133).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11936.75 .. NELBO: 11936.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.33 .. NELBO: 5311.35
****************************************************************************************************
Validation loss decreased (10682.036133 --> 10622.703125).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11843.65 .. NELBO: 11843.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.39 .. NELBO: 5300.41
****************************************************************************************************
Validation loss decreased (10622.703125 --> 10600.820312).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11789.24 .. NELBO: 11789.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.54 .. NELBO: 5312.56
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.85 .. NELBO: 11780.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.78 .. NELBO: 5335.8
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.49 .. NELBO: 11793.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.52 .. NELBO: 5351.54
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.36 .. NELBO: 11796.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.5 .. NELBO: 5353.52
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11784.45 .. NELBO: 11784.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.47 .. NELBO: 5347.49
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  163
model: ETM(
  (t_drop): Dropout(p=0.056608229907071435, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=72, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=72, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=72, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 76.39 .. Rec_loss: 12264.18 .. NELBO: 12340.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.71 .. Rec_loss: 5443.93 .. NELBO: 5451.64
****************************************************************************************************
Validation loss decreased (inf --> 10903.276367).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.41 .. Rec_loss: 12248.22 .. NELBO: 12256.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.42 .. Rec_loss: 5431.95 .. NELBO: 5432.37
****************************************************************************************************
Validation loss decreased (10903.276367 --> 10864.729492).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.6 .. Rec_loss: 12209.02 .. NELBO: 12209.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5408.87 .. NELBO: 5408.94
****************************************************************************************************
Validation loss decreased (10864.729492 --> 10817.890625).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12137.82 .. NELBO: 12137.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5376.01 .. NELBO: 5376.04
****************************************************************************************************
Validation loss decreased (10817.890625 --> 10752.077148).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12040.57 .. NELBO: 12040.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5339.41 .. NELBO: 5339.43
****************************************************************************************************
Validation loss decreased (10752.077148 --> 10678.855469).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11931.68 .. NELBO: 11931.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.07 .. NELBO: 5310.09
****************************************************************************************************
Validation loss decreased (10678.855469 --> 10620.170898).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11838.72 .. NELBO: 11838.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.46 .. NELBO: 5300.48
****************************************************************************************************
Validation loss decreased (10620.170898 --> 10600.958008).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11787.38 .. NELBO: 11787.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5314.13 .. NELBO: 5314.15
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.68 .. NELBO: 11781.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.62 .. NELBO: 5337.64
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11794.43 .. NELBO: 11794.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.37 .. NELBO: 5352.39
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.21 .. NELBO: 11796.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.3 .. NELBO: 5353.32
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11783.91 .. NELBO: 11783.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.81 .. NELBO: 5346.83
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.056608229907071435, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=72, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=72, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=72, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 77.26 .. Rec_loss: 12264.22 .. NELBO: 12341.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.23 .. Rec_loss: 5443.7 .. NELBO: 5450.93
****************************************************************************************************
Validation loss decreased (inf --> 10901.853516).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.92 .. Rec_loss: 12247.0 .. NELBO: 12254.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.44 .. Rec_loss: 5430.89 .. NELBO: 5431.33
****************************************************************************************************
Validation loss decreased (10901.853516 --> 10862.652344).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.61 .. Rec_loss: 12205.3 .. NELBO: 12205.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5407.19 .. NELBO: 5407.26
****************************************************************************************************
Validation loss decreased (10862.652344 --> 10814.518555).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12132.81 .. NELBO: 12132.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5374.16 .. NELBO: 5374.18
****************************************************************************************************
Validation loss decreased (10814.518555 --> 10748.367188).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12035.1 .. NELBO: 12035.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.94 .. NELBO: 5337.96
****************************************************************************************************
Validation loss decreased (10748.367188 --> 10675.925781).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11927.63 .. NELBO: 11927.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5309.48 .. NELBO: 5309.5
****************************************************************************************************
Validation loss decreased (10675.925781 --> 10619.001953).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11836.64 .. NELBO: 11836.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.71 .. NELBO: 5300.73
****************************************************************************************************
Validation loss decreased (10619.001953 --> 10601.445312).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11786.92 .. NELBO: 11786.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5314.61 .. NELBO: 5314.63
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.93 .. NELBO: 11781.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.71 .. NELBO: 5337.73
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11794.05 .. NELBO: 11794.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.98 .. NELBO: 5352.0
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.28 .. NELBO: 11795.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.76 .. NELBO: 5352.78
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11782.95 .. NELBO: 11782.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.37 .. NELBO: 5346.39
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.056608229907071435, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=72, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=72, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=72, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 90.9 .. Rec_loss: 12263.93 .. NELBO: 12354.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.04 .. Rec_loss: 5443.52 .. NELBO: 5451.56
****************************************************************************************************
Validation loss decreased (inf --> 10903.114258).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.68 .. Rec_loss: 12246.78 .. NELBO: 12255.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.46 .. Rec_loss: 5430.91 .. NELBO: 5431.37
****************************************************************************************************
Validation loss decreased (10903.114258 --> 10862.735352).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.65 .. Rec_loss: 12206.01 .. NELBO: 12206.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5407.36 .. NELBO: 5407.43
****************************************************************************************************
Validation loss decreased (10862.735352 --> 10814.860352).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12134.04 .. NELBO: 12134.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5374.31 .. NELBO: 5374.33
****************************************************************************************************
Validation loss decreased (10814.860352 --> 10748.672852).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12035.92 .. NELBO: 12035.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.92 .. NELBO: 5337.94
****************************************************************************************************
Validation loss decreased (10748.672852 --> 10675.879883).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11928.0 .. NELBO: 11928.03
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5309.17 .. NELBO: 5309.19
****************************************************************************************************
Validation loss decreased (10675.879883 --> 10618.369141).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11836.39 .. NELBO: 11836.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.23 .. NELBO: 5300.25
****************************************************************************************************
Validation loss decreased (10618.369141 --> 10600.498047).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11786.53 .. NELBO: 11786.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5314.32 .. NELBO: 5314.34
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.73 .. NELBO: 11781.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.79 .. NELBO: 5337.81
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.96 .. NELBO: 11794.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.25 .. NELBO: 5352.27
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.78 .. NELBO: 11795.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.04 .. NELBO: 5353.06
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11783.3 .. NELBO: 11783.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.6 .. NELBO: 5346.62
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  164
model: ETM(
  (t_drop): Dropout(p=0.16716637556501193, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=68, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=68, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=68, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 69.37 .. Rec_loss: 12264.37 .. NELBO: 12333.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.88 .. Rec_loss: 5444.27 .. NELBO: 5451.15
****************************************************************************************************
Validation loss decreased (inf --> 10902.306641).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.61 .. Rec_loss: 12249.48 .. NELBO: 12257.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.32 .. Rec_loss: 5432.54 .. NELBO: 5432.86
****************************************************************************************************
Validation loss decreased (10902.306641 --> 10865.713867).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.46 .. Rec_loss: 12211.19 .. NELBO: 12211.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5410.54 .. NELBO: 5410.6
****************************************************************************************************
Validation loss decreased (10865.713867 --> 10821.188477).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 12143.54 .. NELBO: 12143.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5378.93 .. NELBO: 5378.95
****************************************************************************************************
Validation loss decreased (10821.188477 --> 10757.910156).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12049.84 .. NELBO: 12049.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5342.95 .. NELBO: 5342.97
****************************************************************************************************
Validation loss decreased (10757.910156 --> 10685.935547).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11943.39 .. NELBO: 11943.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.66 .. NELBO: 5312.68
****************************************************************************************************
Validation loss decreased (10685.935547 --> 10625.347656).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11848.56 .. NELBO: 11848.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.25 .. NELBO: 5300.27
****************************************************************************************************
Validation loss decreased (10625.347656 --> 10600.531250).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11791.67 .. NELBO: 11791.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.01 .. NELBO: 5311.03
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.58 .. NELBO: 11780.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5334.05 .. NELBO: 5334.07
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.22 .. NELBO: 11792.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.6 .. NELBO: 5350.62
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.06 .. NELBO: 11796.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.38 .. NELBO: 5353.4
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11785.95 .. NELBO: 11785.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.72 .. NELBO: 5347.74
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.16716637556501193, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=68, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=68, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=68, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 66.4 .. Rec_loss: 12263.84 .. NELBO: 12330.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.67 .. Rec_loss: 5443.23 .. NELBO: 5449.9
****************************************************************************************************
Validation loss decreased (inf --> 10899.800781).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.47 .. Rec_loss: 12245.75 .. NELBO: 12253.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.31 .. Rec_loss: 5429.82 .. NELBO: 5430.13
****************************************************************************************************
Validation loss decreased (10899.800781 --> 10860.272461).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 12202.21 .. NELBO: 12202.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5405.45 .. NELBO: 5405.5
****************************************************************************************************
Validation loss decreased (10860.272461 --> 10811.003906).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 12127.88 .. NELBO: 12127.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5371.87 .. NELBO: 5371.89
****************************************************************************************************
Validation loss decreased (10811.003906 --> 10743.790039).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12029.78 .. NELBO: 12029.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.67 .. NELBO: 5335.69
****************************************************************************************************
Validation loss decreased (10743.790039 --> 10671.373047).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11920.92 .. NELBO: 11920.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5308.07 .. NELBO: 5308.09
****************************************************************************************************
Validation loss decreased (10671.373047 --> 10616.178711).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11831.9 .. NELBO: 11831.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.84 .. NELBO: 5300.86
****************************************************************************************************
Validation loss decreased (10616.178711 --> 10601.718750).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11785.26 .. NELBO: 11785.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5315.91 .. NELBO: 5315.93
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11782.21 .. NELBO: 11782.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5338.95 .. NELBO: 5338.97
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11794.21 .. NELBO: 11794.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.43 .. NELBO: 5352.45
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11794.54 .. NELBO: 11794.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.61 .. NELBO: 5352.63
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11782.17 .. NELBO: 11782.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5346.03 .. NELBO: 5346.04
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.16716637556501193, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=68, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=68, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=68, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 67.63 .. Rec_loss: 12264.04 .. NELBO: 12331.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.97 .. Rec_loss: 5443.84 .. NELBO: 5450.81
****************************************************************************************************
Validation loss decreased (inf --> 10901.615234).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.71 .. Rec_loss: 12247.91 .. NELBO: 12255.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.28 .. Rec_loss: 5431.72 .. NELBO: 5432.0
****************************************************************************************************
Validation loss decreased (10901.615234 --> 10863.995117).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.42 .. Rec_loss: 12208.55 .. NELBO: 12208.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5408.84 .. NELBO: 5408.89
****************************************************************************************************
Validation loss decreased (10863.995117 --> 10817.786133).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 12138.09 .. NELBO: 12138.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5376.26 .. NELBO: 5376.28
****************************************************************************************************
Validation loss decreased (10817.786133 --> 10752.559570).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12041.44 .. NELBO: 12041.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5339.86 .. NELBO: 5339.88
****************************************************************************************************
Validation loss decreased (10752.559570 --> 10679.750000).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11933.73 .. NELBO: 11933.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.45 .. NELBO: 5310.47
****************************************************************************************************
Validation loss decreased (10679.750000 --> 10620.936523).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11840.61 .. NELBO: 11840.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.38 .. NELBO: 5300.4
****************************************************************************************************
Validation loss decreased (10620.936523 --> 10600.790039).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11788.09 .. NELBO: 11788.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.5 .. NELBO: 5313.52
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.37 .. NELBO: 11781.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.99 .. NELBO: 5337.01
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11793.73 .. NELBO: 11793.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.14 .. NELBO: 5352.16
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.21 .. NELBO: 11796.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.48 .. NELBO: 5353.49
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11783.69 .. NELBO: 11783.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5347.17 .. NELBO: 5347.18
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  165
model: ETM(
  (t_drop): Dropout(p=0.05664471324438325, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=69, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=69, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=69, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 78.39 .. Rec_loss: 12264.38 .. NELBO: 12342.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.27 .. Rec_loss: 5444.14 .. NELBO: 5451.41
****************************************************************************************************
Validation loss decreased (inf --> 10902.830078).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.77 .. Rec_loss: 12248.58 .. NELBO: 12256.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 5432.08 .. NELBO: 5432.47
****************************************************************************************************
Validation loss decreased (10902.830078 --> 10864.945312).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.57 .. Rec_loss: 12209.4 .. NELBO: 12209.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5409.27 .. NELBO: 5409.34
****************************************************************************************************
Validation loss decreased (10864.945312 --> 10818.698242).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12139.26 .. NELBO: 12139.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5376.79 .. NELBO: 5376.81
****************************************************************************************************
Validation loss decreased (10818.698242 --> 10753.629883).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12043.21 .. NELBO: 12043.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5340.45 .. NELBO: 5340.47
****************************************************************************************************
Validation loss decreased (10753.629883 --> 10680.941406).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11934.97 .. NELBO: 11935.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.85 .. NELBO: 5310.87
****************************************************************************************************
Validation loss decreased (10680.941406 --> 10621.727539).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11842.17 .. NELBO: 11842.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.21 .. NELBO: 5300.23
****************************************************************************************************
Validation loss decreased (10621.727539 --> 10600.445312).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11788.49 .. NELBO: 11788.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.71 .. NELBO: 5312.73
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.06 .. NELBO: 11781.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.07 .. NELBO: 5336.09
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11792.91 .. NELBO: 11792.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.69 .. NELBO: 5351.71
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.18 .. NELBO: 11796.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.49 .. NELBO: 5353.51
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11784.22 .. NELBO: 11784.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.38 .. NELBO: 5347.4
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05664471324438325, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=69, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=69, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=69, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 75.71 .. Rec_loss: 12264.72 .. NELBO: 12340.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.14 .. Rec_loss: 5444.54 .. NELBO: 5451.68
****************************************************************************************************
Validation loss decreased (inf --> 10903.350586).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.68 .. Rec_loss: 12250.33 .. NELBO: 12258.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.37 .. Rec_loss: 5433.52 .. NELBO: 5433.89
****************************************************************************************************
Validation loss decreased (10903.350586 --> 10867.787109).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.54 .. Rec_loss: 12214.33 .. NELBO: 12214.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5412.12 .. NELBO: 5412.19
****************************************************************************************************
Validation loss decreased (10867.787109 --> 10824.367188).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12147.84 .. NELBO: 12147.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5380.83 .. NELBO: 5380.85
****************************************************************************************************
Validation loss decreased (10824.367188 --> 10761.716797).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12055.02 .. NELBO: 12055.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5344.72 .. NELBO: 5344.74
****************************************************************************************************
Validation loss decreased (10761.716797 --> 10689.476562).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11948.37 .. NELBO: 11948.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.73 .. NELBO: 5313.75
****************************************************************************************************
Validation loss decreased (10689.476562 --> 10627.485352).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11851.54 .. NELBO: 11851.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.29 .. NELBO: 5300.31
****************************************************************************************************
Validation loss decreased (10627.485352 --> 10600.616211).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11792.48 .. NELBO: 11792.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.33 .. NELBO: 5310.35
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11779.78 .. NELBO: 11779.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5333.53 .. NELBO: 5333.55
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11791.64 .. NELBO: 11791.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.78 .. NELBO: 5350.8
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.29 .. NELBO: 11796.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5354.07 .. NELBO: 5354.09
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11786.41 .. NELBO: 11786.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5348.52 .. NELBO: 5348.54
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05664471324438325, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=69, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=69, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=69, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 86.23 .. Rec_loss: 12264.41 .. NELBO: 12350.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.78 .. Rec_loss: 5444.11 .. NELBO: 5451.89
****************************************************************************************************
Validation loss decreased (inf --> 10903.783203).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.48 .. Rec_loss: 12248.52 .. NELBO: 12257.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.52 .. Rec_loss: 5431.97 .. NELBO: 5432.49
****************************************************************************************************
Validation loss decreased (10903.783203 --> 10864.984375).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.74 .. Rec_loss: 12209.14 .. NELBO: 12209.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5409.09 .. NELBO: 5409.18
****************************************************************************************************
Validation loss decreased (10864.984375 --> 10818.347656).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 12139.4 .. NELBO: 12139.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5376.57 .. NELBO: 5376.6
****************************************************************************************************
Validation loss decreased (10818.347656 --> 10753.185547).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12043.15 .. NELBO: 12043.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5340.21 .. NELBO: 5340.23
****************************************************************************************************
Validation loss decreased (10753.185547 --> 10680.465820).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11935.68 .. NELBO: 11935.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.61 .. NELBO: 5310.63
****************************************************************************************************
Validation loss decreased (10680.465820 --> 10621.258789).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11842.21 .. NELBO: 11842.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5299.99 .. NELBO: 5300.01
****************************************************************************************************
Validation loss decreased (10621.258789 --> 10600.014648).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11788.83 .. NELBO: 11788.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.55 .. NELBO: 5312.57
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.08 .. NELBO: 11781.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.9 .. NELBO: 5335.92
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11793.33 .. NELBO: 11793.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.56 .. NELBO: 5351.58
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.32 .. NELBO: 11796.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.46 .. NELBO: 5353.47
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11784.55 .. NELBO: 11784.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5347.45 .. NELBO: 5347.46
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  166
model: ETM(
  (t_drop): Dropout(p=0.05702928378411852, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=70, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=70, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=70, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 88.57 .. Rec_loss: 12263.89 .. NELBO: 12352.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.83 .. Rec_loss: 5443.83 .. NELBO: 5451.66
****************************************************************************************************
Validation loss decreased (inf --> 10903.317383).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.38 .. Rec_loss: 12247.93 .. NELBO: 12256.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.46 .. Rec_loss: 5431.9 .. NELBO: 5432.36
****************************************************************************************************
Validation loss decreased (10903.317383 --> 10864.724609).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.67 .. Rec_loss: 12209.29 .. NELBO: 12209.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5409.52 .. NELBO: 5409.61
****************************************************************************************************
Validation loss decreased (10864.724609 --> 10819.208984).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 12141.05 .. NELBO: 12141.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5377.69 .. NELBO: 5377.72
****************************************************************************************************
Validation loss decreased (10819.208984 --> 10755.429688).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12046.45 .. NELBO: 12046.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5341.73 .. NELBO: 5341.75
****************************************************************************************************
Validation loss decreased (10755.429688 --> 10683.498047).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11940.53 .. NELBO: 11940.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.74 .. NELBO: 5311.76
****************************************************************************************************
Validation loss decreased (10683.498047 --> 10623.520508).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11845.94 .. NELBO: 11845.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5299.85 .. NELBO: 5299.87
****************************************************************************************************
Validation loss decreased (10623.520508 --> 10599.736328).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11790.42 .. NELBO: 11790.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.06 .. NELBO: 5311.08
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11779.82 .. NELBO: 11779.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5334.28 .. NELBO: 5334.3
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.44 .. NELBO: 11792.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.71 .. NELBO: 5350.73
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.49 .. NELBO: 11796.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.35 .. NELBO: 5353.37
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11785.46 .. NELBO: 11785.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.63 .. NELBO: 5347.65
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05702928378411852, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=70, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=70, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=70, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 79.15 .. Rec_loss: 12264.36 .. NELBO: 12343.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.71 .. Rec_loss: 5444.19 .. NELBO: 5451.9
****************************************************************************************************
Validation loss decreased (inf --> 10903.801758).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.31 .. Rec_loss: 12248.87 .. NELBO: 12257.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 5432.24 .. NELBO: 5432.63
****************************************************************************************************
Validation loss decreased (10903.801758 --> 10865.265625).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.56 .. Rec_loss: 12209.57 .. NELBO: 12210.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5409.46 .. NELBO: 5409.52
****************************************************************************************************
Validation loss decreased (10865.265625 --> 10819.039062).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12139.49 .. NELBO: 12139.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5377.03 .. NELBO: 5377.05
****************************************************************************************************
Validation loss decreased (10819.039062 --> 10754.097656).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12043.11 .. NELBO: 12043.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5340.7 .. NELBO: 5340.72
****************************************************************************************************
Validation loss decreased (10754.097656 --> 10681.430664).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11935.94 .. NELBO: 11935.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5311.1 .. NELBO: 5311.11
****************************************************************************************************
Validation loss decreased (10681.430664 --> 10622.232422).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11841.98 .. NELBO: 11842.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.54 .. NELBO: 5300.55
****************************************************************************************************
Validation loss decreased (10622.232422 --> 10601.113281).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11788.82 .. NELBO: 11788.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.19 .. NELBO: 5313.21
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.37 .. NELBO: 11781.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.53 .. NELBO: 5336.55
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11793.53 .. NELBO: 11793.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.79 .. NELBO: 5351.81
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.55 .. NELBO: 11795.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.25 .. NELBO: 5353.27
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11784.04 .. NELBO: 11784.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5347.04 .. NELBO: 5347.05
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05702928378411852, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=70, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=70, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=70, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 73.57 .. Rec_loss: 12264.0 .. NELBO: 12337.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.05 .. Rec_loss: 5444.08 .. NELBO: 5451.13
****************************************************************************************************
Validation loss decreased (inf --> 10902.256836).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.63 .. Rec_loss: 12248.8 .. NELBO: 12256.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 5432.5 .. NELBO: 5432.89
****************************************************************************************************
Validation loss decreased (10902.256836 --> 10865.778320).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.57 .. Rec_loss: 12210.67 .. NELBO: 12211.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5409.9 .. NELBO: 5409.97
****************************************************************************************************
Validation loss decreased (10865.778320 --> 10819.926758).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12141.01 .. NELBO: 12141.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5377.71 .. NELBO: 5377.73
****************************************************************************************************
Validation loss decreased (10819.926758 --> 10755.453125).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12045.73 .. NELBO: 12045.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5341.46 .. NELBO: 5341.48
****************************************************************************************************
Validation loss decreased (10755.453125 --> 10682.955078).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11939.09 .. NELBO: 11939.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5311.59 .. NELBO: 5311.6
****************************************************************************************************
Validation loss decreased (10682.955078 --> 10623.208008).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11844.48 .. NELBO: 11844.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.3 .. NELBO: 5300.31
****************************************************************************************************
Validation loss decreased (10623.208008 --> 10600.625000).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11790.01 .. NELBO: 11790.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.11 .. NELBO: 5312.13
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.05 .. NELBO: 11781.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.25 .. NELBO: 5335.27
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11793.12 .. NELBO: 11793.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.09 .. NELBO: 5351.11
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.78 .. NELBO: 11795.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.28 .. NELBO: 5353.3
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11784.83 .. NELBO: 11784.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5347.44 .. NELBO: 5347.45
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  167
model: ETM(
  (t_drop): Dropout(p=0.039960557438673425, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=56, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=56, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=56, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 74.43 .. Rec_loss: 12264.33 .. NELBO: 12338.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.32 .. Rec_loss: 5443.78 .. NELBO: 5451.1
****************************************************************************************************
Validation loss decreased (inf --> 10902.200195).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.93 .. Rec_loss: 12248.36 .. NELBO: 12256.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.47 .. Rec_loss: 5432.67 .. NELBO: 5433.14
****************************************************************************************************
Validation loss decreased (10902.200195 --> 10866.266602).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.68 .. Rec_loss: 12211.77 .. NELBO: 12212.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5411.14 .. NELBO: 5411.23
****************************************************************************************************
Validation loss decreased (10866.266602 --> 10822.459961).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 12145.8 .. NELBO: 12145.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5380.05 .. NELBO: 5380.08
****************************************************************************************************
Validation loss decreased (10822.459961 --> 10760.153320).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12053.22 .. NELBO: 12053.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5344.31 .. NELBO: 5344.33
****************************************************************************************************
Validation loss decreased (10760.153320 --> 10688.663086).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11947.89 .. NELBO: 11947.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.61 .. NELBO: 5313.63
****************************************************************************************************
Validation loss decreased (10688.663086 --> 10627.249023).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11852.17 .. NELBO: 11852.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.0 .. NELBO: 5300.02
****************************************************************************************************
Validation loss decreased (10627.249023 --> 10600.033203).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11793.09 .. NELBO: 11793.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5309.45 .. NELBO: 5309.47
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11779.19 .. NELBO: 11779.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5332.3 .. NELBO: 5332.32
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11791.72 .. NELBO: 11791.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5349.7 .. NELBO: 5349.72
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.92 .. NELBO: 11795.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.39 .. NELBO: 5353.41
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11786.81 .. NELBO: 11786.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5348.1 .. NELBO: 5348.11
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.039960557438673425, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=56, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=56, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=56, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 77.86 .. Rec_loss: 12263.9 .. NELBO: 12341.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.04 .. Rec_loss: 5443.86 .. NELBO: 5450.9
****************************************************************************************************
Validation loss decreased (inf --> 10901.787109).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.53 .. Rec_loss: 12247.96 .. NELBO: 12255.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.42 .. Rec_loss: 5431.85 .. NELBO: 5432.27
****************************************************************************************************
Validation loss decreased (10901.787109 --> 10864.540039).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.62 .. Rec_loss: 12208.25 .. NELBO: 12208.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5408.78 .. NELBO: 5408.86
****************************************************************************************************
Validation loss decreased (10864.540039 --> 10817.719727).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12137.21 .. NELBO: 12137.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5376.04 .. NELBO: 5376.06
****************************************************************************************************
Validation loss decreased (10817.719727 --> 10752.123047).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12039.83 .. NELBO: 12039.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5339.59 .. NELBO: 5339.61
****************************************************************************************************
Validation loss decreased (10752.123047 --> 10679.212891).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11933.06 .. NELBO: 11933.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.22 .. NELBO: 5310.24
****************************************************************************************************
Validation loss decreased (10679.212891 --> 10620.480469).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11839.4 .. NELBO: 11839.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5300.25 .. NELBO: 5300.3
****************************************************************************************************
Validation loss decreased (10620.480469 --> 10600.606445).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 11787.17 .. NELBO: 11787.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5313.52 .. NELBO: 5313.6
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.16 .. Rec_loss: 11780.97 .. NELBO: 11781.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5336.97 .. NELBO: 5337.05
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.16 .. Rec_loss: 11793.82 .. NELBO: 11793.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5351.99 .. NELBO: 5352.06
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 11796.08 .. NELBO: 11796.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5353.23 .. NELBO: 5353.28
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 11784.1 .. NELBO: 11784.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5346.94 .. NELBO: 5346.97
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.039960557438673425, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=56, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=56, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=56, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 72.88 .. Rec_loss: 12264.26 .. NELBO: 12337.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.21 .. Rec_loss: 5443.76 .. NELBO: 5450.97
****************************************************************************************************
Validation loss decreased (inf --> 10901.934570).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.83 .. Rec_loss: 12247.84 .. NELBO: 12255.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.42 .. Rec_loss: 5431.53 .. NELBO: 5431.95
****************************************************************************************************
Validation loss decreased (10901.934570 --> 10863.906250).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.61 .. Rec_loss: 12208.07 .. NELBO: 12208.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5408.68 .. NELBO: 5408.75
****************************************************************************************************
Validation loss decreased (10863.906250 --> 10817.499023).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12137.83 .. NELBO: 12137.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5376.25 .. NELBO: 5376.27
****************************************************************************************************
Validation loss decreased (10817.499023 --> 10752.528320).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12042.15 .. NELBO: 12042.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5339.98 .. NELBO: 5339.99
****************************************************************************************************
Validation loss decreased (10752.528320 --> 10679.975586).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11934.56 .. NELBO: 11934.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5310.46 .. NELBO: 5310.47
****************************************************************************************************
Validation loss decreased (10679.975586 --> 10620.938477).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11841.69 .. NELBO: 11841.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5299.98 .. NELBO: 5299.99
****************************************************************************************************
Validation loss decreased (10620.938477 --> 10599.992188).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11788.36 .. NELBO: 11788.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5312.76 .. NELBO: 5312.77
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11780.66 .. NELBO: 11780.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5336.28 .. NELBO: 5336.29
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11793.77 .. NELBO: 11793.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5351.82 .. NELBO: 5351.83
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.29 .. NELBO: 11796.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.47 .. NELBO: 5353.48
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11784.6 .. NELBO: 11784.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5347.29 .. NELBO: 5347.3
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  168
model: ETM(
  (t_drop): Dropout(p=0.06126678513813031, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=53, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=53, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=53, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 66.99 .. Rec_loss: 12263.98 .. NELBO: 12330.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.64 .. Rec_loss: 5443.54 .. NELBO: 5451.18
****************************************************************************************************
Validation loss decreased (inf --> 10902.359375).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.21 .. Rec_loss: 12246.92 .. NELBO: 12255.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 5431.04 .. NELBO: 5431.42
****************************************************************************************************
Validation loss decreased (10902.359375 --> 10862.841797).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.56 .. Rec_loss: 12206.12 .. NELBO: 12206.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5407.92 .. NELBO: 5408.0
****************************************************************************************************
Validation loss decreased (10862.841797 --> 10815.986328).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12136.0 .. NELBO: 12136.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5375.28 .. NELBO: 5375.3
****************************************************************************************************
Validation loss decreased (10815.986328 --> 10750.600586).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12039.02 .. NELBO: 12039.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5339.03 .. NELBO: 5339.05
****************************************************************************************************
Validation loss decreased (10750.600586 --> 10678.100586).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11930.92 .. NELBO: 11930.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5309.91 .. NELBO: 5309.92
****************************************************************************************************
Validation loss decreased (10678.100586 --> 10619.847656).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11838.99 .. NELBO: 11839.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.1 .. NELBO: 5300.12
****************************************************************************************************
Validation loss decreased (10619.847656 --> 10600.222656).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11786.94 .. NELBO: 11786.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.36 .. NELBO: 5313.38
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11780.7 .. NELBO: 11780.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.85 .. NELBO: 5336.87
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11793.58 .. NELBO: 11793.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.01 .. NELBO: 5352.03
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.49 .. NELBO: 11796.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.26 .. NELBO: 5353.28
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11784.35 .. NELBO: 11784.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.89 .. NELBO: 5346.91
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06126678513813031, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=53, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=53, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=53, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 77.38 .. Rec_loss: 12263.55 .. NELBO: 12340.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.85 .. Rec_loss: 5443.0 .. NELBO: 5449.85
****************************************************************************************************
Validation loss decreased (inf --> 10899.694336).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.48 .. Rec_loss: 12245.71 .. NELBO: 12253.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 5430.58 .. NELBO: 5431.03
****************************************************************************************************
Validation loss decreased (10899.694336 --> 10862.067383).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.64 .. Rec_loss: 12205.04 .. NELBO: 12205.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5407.22 .. NELBO: 5407.29
****************************************************************************************************
Validation loss decreased (10862.067383 --> 10814.578125).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12133.67 .. NELBO: 12133.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5374.53 .. NELBO: 5374.55
****************************************************************************************************
Validation loss decreased (10814.578125 --> 10749.092773).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12036.04 .. NELBO: 12036.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5338.48 .. NELBO: 5338.49
****************************************************************************************************
Validation loss decreased (10749.092773 --> 10676.986328).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11929.47 .. NELBO: 11929.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5309.7 .. NELBO: 5309.71
****************************************************************************************************
Validation loss decreased (10676.986328 --> 10619.414062).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11837.36 .. NELBO: 11837.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.2 .. NELBO: 5300.21
****************************************************************************************************
Validation loss decreased (10619.414062 --> 10600.424805).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11786.72 .. NELBO: 11786.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5313.59 .. NELBO: 5313.6
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11781.2 .. NELBO: 11781.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5337.0 .. NELBO: 5337.01
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11793.62 .. NELBO: 11793.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5352.02 .. NELBO: 5352.03
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11795.92 .. NELBO: 11795.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.21 .. NELBO: 5353.22
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11784.01 .. NELBO: 11784.03
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5346.88 .. NELBO: 5346.89
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06126678513813031, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=53, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=53, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=53, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 69.87 .. Rec_loss: 12263.81 .. NELBO: 12333.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.47 .. Rec_loss: 5443.51 .. NELBO: 5450.98
****************************************************************************************************
Validation loss decreased (inf --> 10901.957031).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.08 .. Rec_loss: 12246.98 .. NELBO: 12255.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.37 .. Rec_loss: 5431.28 .. NELBO: 5431.65
****************************************************************************************************
Validation loss decreased (10901.957031 --> 10863.306641).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.54 .. Rec_loss: 12207.31 .. NELBO: 12207.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5408.62 .. NELBO: 5408.69
****************************************************************************************************
Validation loss decreased (10863.306641 --> 10817.372070).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12138.16 .. NELBO: 12138.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5376.64 .. NELBO: 5376.66
****************************************************************************************************
Validation loss decreased (10817.372070 --> 10753.314453).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12042.84 .. NELBO: 12042.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5340.8 .. NELBO: 5340.81
****************************************************************************************************
Validation loss decreased (10753.314453 --> 10681.619141).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11936.87 .. NELBO: 11936.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5311.23 .. NELBO: 5311.24
****************************************************************************************************
Validation loss decreased (10681.619141 --> 10622.481445).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11844.03 .. NELBO: 11844.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5299.9 .. NELBO: 5299.91
****************************************************************************************************
Validation loss decreased (10622.481445 --> 10599.817383).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11789.55 .. NELBO: 11789.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5311.51 .. NELBO: 5311.52
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11780.2 .. NELBO: 11780.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5334.71 .. NELBO: 5334.73
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11792.22 .. NELBO: 11792.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.91 .. NELBO: 5350.93
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.81 .. NELBO: 11795.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.37 .. NELBO: 5353.38
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11785.66 .. NELBO: 11785.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5347.6 .. NELBO: 5347.61
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  169
model: ETM(
  (t_drop): Dropout(p=0.061793017006512053, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=61, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=61, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=61, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 75.57 .. Rec_loss: 12263.81 .. NELBO: 12339.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.05 .. Rec_loss: 5443.42 .. NELBO: 5451.47
****************************************************************************************************
Validation loss decreased (inf --> 10902.940430).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.59 .. Rec_loss: 12246.94 .. NELBO: 12255.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.34 .. Rec_loss: 5431.17 .. NELBO: 5431.51
****************************************************************************************************
Validation loss decreased (10902.940430 --> 10863.027344).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.49 .. Rec_loss: 12206.48 .. NELBO: 12206.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5407.72 .. NELBO: 5407.78
****************************************************************************************************
Validation loss decreased (10863.027344 --> 10815.555664).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 12135.14 .. NELBO: 12135.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5374.79 .. NELBO: 5374.81
****************************************************************************************************
Validation loss decreased (10815.555664 --> 10749.621094).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12037.64 .. NELBO: 12037.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5338.51 .. NELBO: 5338.52
****************************************************************************************************
Validation loss decreased (10749.621094 --> 10677.047852).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11930.03 .. NELBO: 11930.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5309.68 .. NELBO: 5309.69
****************************************************************************************************
Validation loss decreased (10677.047852 --> 10619.378906).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11838.86 .. NELBO: 11838.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.3 .. NELBO: 5300.31
****************************************************************************************************
Validation loss decreased (10619.378906 --> 10600.616211).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11787.59 .. NELBO: 11787.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5313.7 .. NELBO: 5313.71
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.41 .. NELBO: 11781.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5336.89 .. NELBO: 5336.9
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11793.67 .. NELBO: 11793.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5351.72 .. NELBO: 5351.73
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.67 .. NELBO: 11795.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5352.97 .. NELBO: 5352.98
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11783.73 .. NELBO: 11783.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5346.74 .. NELBO: 5346.75
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.061793017006512053, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=61, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=61, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=61, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 78.49 .. Rec_loss: 12263.8 .. NELBO: 12342.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.22 .. Rec_loss: 5443.53 .. NELBO: 5450.75
****************************************************************************************************
Validation loss decreased (inf --> 10901.509766).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.89 .. Rec_loss: 12246.61 .. NELBO: 12254.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.46 .. Rec_loss: 5430.88 .. NELBO: 5431.34
****************************************************************************************************
Validation loss decreased (10901.509766 --> 10862.681641).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.67 .. Rec_loss: 12205.34 .. NELBO: 12206.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5407.31 .. NELBO: 5407.39
****************************************************************************************************
Validation loss decreased (10862.681641 --> 10814.789062).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 12133.32 .. NELBO: 12133.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5374.38 .. NELBO: 5374.41
****************************************************************************************************
Validation loss decreased (10814.789062 --> 10748.816406).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12035.99 .. NELBO: 12036.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5338.16 .. NELBO: 5338.18
****************************************************************************************************
Validation loss decreased (10748.816406 --> 10676.351562).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11928.31 .. NELBO: 11928.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5309.42 .. NELBO: 5309.44
****************************************************************************************************
Validation loss decreased (10676.351562 --> 10618.876953).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11836.99 .. NELBO: 11837.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.27 .. NELBO: 5300.29
****************************************************************************************************
Validation loss decreased (10618.876953 --> 10600.561523).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11786.73 .. NELBO: 11786.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5314.02 .. NELBO: 5314.04
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.4 .. NELBO: 11781.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.42 .. NELBO: 5337.44
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11794.02 .. NELBO: 11794.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.14 .. NELBO: 5352.16
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.69 .. NELBO: 11795.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.21 .. NELBO: 5353.23
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11783.35 .. NELBO: 11783.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.91 .. NELBO: 5346.93
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.061793017006512053, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=61, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=61, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=61, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 74.36 .. Rec_loss: 12264.51 .. NELBO: 12338.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.89 .. Rec_loss: 5444.19 .. NELBO: 5451.08
****************************************************************************************************
Validation loss decreased (inf --> 10902.150391).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.38 .. Rec_loss: 12249.42 .. NELBO: 12256.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.34 .. Rec_loss: 5432.79 .. NELBO: 5433.13
****************************************************************************************************
Validation loss decreased (10902.150391 --> 10866.259766).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.5 .. Rec_loss: 12211.65 .. NELBO: 12212.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5410.99 .. NELBO: 5411.05
****************************************************************************************************
Validation loss decreased (10866.259766 --> 10822.101562).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12144.72 .. NELBO: 12144.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5379.4 .. NELBO: 5379.42
****************************************************************************************************
Validation loss decreased (10822.101562 --> 10758.851562).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12051.29 .. NELBO: 12051.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5343.28 .. NELBO: 5343.29
****************************************************************************************************
Validation loss decreased (10758.851562 --> 10686.582031).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11944.84 .. NELBO: 11944.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5312.67 .. NELBO: 5312.68
****************************************************************************************************
Validation loss decreased (10686.582031 --> 10625.356445).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11848.75 .. NELBO: 11848.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5299.89 .. NELBO: 5299.9
****************************************************************************************************
Validation loss decreased (10625.356445 --> 10599.798828).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11790.62 .. NELBO: 11790.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5310.43 .. NELBO: 5310.44
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11779.83 .. NELBO: 11779.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5333.64 .. NELBO: 5333.65
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11791.68 .. NELBO: 11791.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5350.62 .. NELBO: 5350.63
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.7 .. NELBO: 11796.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.7 .. NELBO: 5353.71
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11785.62 .. NELBO: 11785.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5348.11 .. NELBO: 5348.12
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  170
model: ETM(
  (t_drop): Dropout(p=0.07705080889773858, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=63, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=63, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=63, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 76.53 .. Rec_loss: 12264.59 .. NELBO: 12341.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.43 .. Rec_loss: 5444.27 .. NELBO: 5451.7
****************************************************************************************************
Validation loss decreased (inf --> 10903.394531).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.98 .. Rec_loss: 12249.4 .. NELBO: 12257.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.37 .. Rec_loss: 5432.82 .. NELBO: 5433.19
****************************************************************************************************
Validation loss decreased (10903.394531 --> 10866.368164).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.54 .. Rec_loss: 12211.87 .. NELBO: 12212.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5410.6 .. NELBO: 5410.67
****************************************************************************************************
Validation loss decreased (10866.368164 --> 10821.335938).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12143.46 .. NELBO: 12143.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5378.45 .. NELBO: 5378.47
****************************************************************************************************
Validation loss decreased (10821.335938 --> 10756.956055).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12048.08 .. NELBO: 12048.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5341.97 .. NELBO: 5341.99
****************************************************************************************************
Validation loss decreased (10756.956055 --> 10683.979492).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11940.48 .. NELBO: 11940.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.69 .. NELBO: 5311.71
****************************************************************************************************
Validation loss decreased (10683.979492 --> 10623.417969).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11844.56 .. NELBO: 11844.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.09 .. NELBO: 5300.11
****************************************************************************************************
Validation loss decreased (10623.417969 --> 10600.206055).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11789.26 .. NELBO: 11789.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.98 .. NELBO: 5312.0
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11779.82 .. NELBO: 11779.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.5 .. NELBO: 5335.52
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11792.72 .. NELBO: 11792.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.63 .. NELBO: 5351.65
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.24 .. NELBO: 11796.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.84 .. NELBO: 5353.86
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11784.96 .. NELBO: 11784.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.88 .. NELBO: 5347.9
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.07705080889773858, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=63, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=63, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=63, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 71.17 .. Rec_loss: 12263.63 .. NELBO: 12334.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.58 .. Rec_loss: 5443.11 .. NELBO: 5449.69
****************************************************************************************************
Validation loss decreased (inf --> 10899.383789).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.11 .. Rec_loss: 12245.27 .. NELBO: 12252.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 5429.57 .. NELBO: 5429.95
****************************************************************************************************
Validation loss decreased (10899.383789 --> 10859.913086).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.56 .. Rec_loss: 12201.68 .. NELBO: 12202.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5405.21 .. NELBO: 5405.28
****************************************************************************************************
Validation loss decreased (10859.913086 --> 10810.571289).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12127.78 .. NELBO: 12127.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5371.68 .. NELBO: 5371.71
****************************************************************************************************
Validation loss decreased (10810.571289 --> 10743.416016).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12028.65 .. NELBO: 12028.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.5 .. NELBO: 5335.52
****************************************************************************************************
Validation loss decreased (10743.416016 --> 10671.035156).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11921.21 .. NELBO: 11921.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5307.83 .. NELBO: 5307.85
****************************************************************************************************
Validation loss decreased (10671.035156 --> 10615.695312).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11831.06 .. NELBO: 11831.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.52 .. NELBO: 5300.54
****************************************************************************************************
Validation loss decreased (10615.695312 --> 10601.075195).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11785.18 .. NELBO: 11785.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5315.67 .. NELBO: 5315.69
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11782.59 .. NELBO: 11782.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5338.82 .. NELBO: 5338.84
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11794.43 .. NELBO: 11794.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.28 .. NELBO: 5352.3
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11794.92 .. NELBO: 11794.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.43 .. NELBO: 5352.45
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11782.3 .. NELBO: 11782.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5345.89 .. NELBO: 5345.91
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.07705080889773858, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=63, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=63, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=63, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 82.29 .. Rec_loss: 12264.17 .. NELBO: 12346.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.63 .. Rec_loss: 5443.56 .. NELBO: 5451.19
****************************************************************************************************
Validation loss decreased (inf --> 10902.387695).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.27 .. Rec_loss: 12246.77 .. NELBO: 12255.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.49 .. Rec_loss: 5430.69 .. NELBO: 5431.18
****************************************************************************************************
Validation loss decreased (10902.387695 --> 10862.347656).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.73 .. Rec_loss: 12205.03 .. NELBO: 12205.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 5407.08 .. NELBO: 5407.19
****************************************************************************************************
Validation loss decreased (10862.347656 --> 10814.393555).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.18 .. Rec_loss: 12133.16 .. NELBO: 12133.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5374.12 .. NELBO: 5374.16
****************************************************************************************************
Validation loss decreased (10814.393555 --> 10748.338867).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 12035.92 .. NELBO: 12036.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5337.93 .. NELBO: 5337.96
****************************************************************************************************
Validation loss decreased (10748.338867 --> 10675.919922).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 11928.84 .. NELBO: 11928.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5309.33 .. NELBO: 5309.36
****************************************************************************************************
Validation loss decreased (10675.919922 --> 10618.729492).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 11837.02 .. NELBO: 11837.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5300.34 .. NELBO: 5300.38
****************************************************************************************************
Validation loss decreased (10618.729492 --> 10600.756836).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 11787.0 .. NELBO: 11787.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5314.09 .. NELBO: 5314.14
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 11781.57 .. NELBO: 11781.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5337.24 .. NELBO: 5337.29
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 11794.17 .. NELBO: 11794.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5351.68 .. NELBO: 5351.72
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 11795.34 .. NELBO: 11795.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5352.64 .. NELBO: 5352.67
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11782.75 .. NELBO: 11782.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.44 .. NELBO: 5346.46
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  171
model: ETM(
  (t_drop): Dropout(p=0.036727146283123416, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=82, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=82, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=82, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 92.9 .. Rec_loss: 12264.27 .. NELBO: 12357.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.94 .. Rec_loss: 5443.96 .. NELBO: 5451.9
****************************************************************************************************
Validation loss decreased (inf --> 10903.799805).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.54 .. Rec_loss: 12247.88 .. NELBO: 12256.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 5431.56 .. NELBO: 5432.01
****************************************************************************************************
Validation loss decreased (10903.799805 --> 10864.014648).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.64 .. Rec_loss: 12207.83 .. NELBO: 12208.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5408.4 .. NELBO: 5408.48
****************************************************************************************************
Validation loss decreased (10864.014648 --> 10816.946289).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12136.98 .. NELBO: 12137.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5375.63 .. NELBO: 5375.66
****************************************************************************************************
Validation loss decreased (10816.946289 --> 10751.308594).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12040.11 .. NELBO: 12040.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5339.26 .. NELBO: 5339.28
****************************************************************************************************
Validation loss decreased (10751.308594 --> 10678.559570).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11932.25 .. NELBO: 11932.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.09 .. NELBO: 5310.11
****************************************************************************************************
Validation loss decreased (10678.559570 --> 10620.224609).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11839.92 .. NELBO: 11839.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.29 .. NELBO: 5300.31
****************************************************************************************************
Validation loss decreased (10620.224609 --> 10600.614258).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11788.47 .. NELBO: 11788.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.48 .. NELBO: 5313.5
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.68 .. NELBO: 11781.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.77 .. NELBO: 5336.79
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.55 .. NELBO: 11793.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.74 .. NELBO: 5351.76
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.88 .. NELBO: 11795.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.04 .. NELBO: 5353.06
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11783.74 .. NELBO: 11783.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.86 .. NELBO: 5346.88
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.036727146283123416, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=82, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=82, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=82, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 93.11 .. Rec_loss: 12264.08 .. NELBO: 12357.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.9 .. Rec_loss: 5444.13 .. NELBO: 5452.03
****************************************************************************************************
Validation loss decreased (inf --> 10904.065430).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.4 .. Rec_loss: 12248.76 .. NELBO: 12257.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.47 .. Rec_loss: 5432.03 .. NELBO: 5432.5
****************************************************************************************************
Validation loss decreased (10904.065430 --> 10864.997070).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.68 .. Rec_loss: 12208.71 .. NELBO: 12209.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5408.99 .. NELBO: 5409.08
****************************************************************************************************
Validation loss decreased (10864.997070 --> 10818.162109).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 12137.78 .. NELBO: 12137.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5376.31 .. NELBO: 5376.34
****************************************************************************************************
Validation loss decreased (10818.162109 --> 10752.678711).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12041.37 .. NELBO: 12041.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5339.89 .. NELBO: 5339.91
****************************************************************************************************
Validation loss decreased (10752.678711 --> 10679.815430).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11933.13 .. NELBO: 11933.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.47 .. NELBO: 5310.49
****************************************************************************************************
Validation loss decreased (10679.815430 --> 10620.968750).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11840.17 .. NELBO: 11840.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.33 .. NELBO: 5300.35
****************************************************************************************************
Validation loss decreased (10620.968750 --> 10600.696289).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11787.77 .. NELBO: 11787.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.35 .. NELBO: 5313.37
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.81 .. NELBO: 11780.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.82 .. NELBO: 5336.84
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.63 .. NELBO: 11793.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.14 .. NELBO: 5352.16
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.16 .. NELBO: 11796.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.63 .. NELBO: 5353.65
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11784.44 .. NELBO: 11784.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.34 .. NELBO: 5347.36
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.036727146283123416, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=82, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=82, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=82, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 82.03 .. Rec_loss: 12264.35 .. NELBO: 12346.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.68 .. Rec_loss: 5444.47 .. NELBO: 5452.15
****************************************************************************************************
Validation loss decreased (inf --> 10904.285156).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.16 .. Rec_loss: 12249.8 .. NELBO: 12257.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 5432.57 .. NELBO: 5432.95
****************************************************************************************************
Validation loss decreased (10904.285156 --> 10865.901367).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.54 .. Rec_loss: 12210.35 .. NELBO: 12210.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5409.37 .. NELBO: 5409.44
****************************************************************************************************
Validation loss decreased (10865.901367 --> 10818.880859).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12138.51 .. NELBO: 12138.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5376.31 .. NELBO: 5376.34
****************************************************************************************************
Validation loss decreased (10818.880859 --> 10752.674805).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12040.96 .. NELBO: 12041.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5339.56 .. NELBO: 5339.58
****************************************************************************************************
Validation loss decreased (10752.674805 --> 10679.161133).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11931.76 .. NELBO: 11931.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.2 .. NELBO: 5310.22
****************************************************************************************************
Validation loss decreased (10679.161133 --> 10620.432617).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11838.77 .. NELBO: 11838.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.66 .. NELBO: 5300.68
****************************************************************************************************
Validation loss decreased (10620.432617 --> 10601.370117).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11787.14 .. NELBO: 11787.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5314.39 .. NELBO: 5314.41
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.67 .. NELBO: 11781.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.85 .. NELBO: 5337.87
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11794.21 .. NELBO: 11794.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.58 .. NELBO: 5352.6
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.39 .. NELBO: 11796.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.52 .. NELBO: 5353.54
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11783.7 .. NELBO: 11783.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.04 .. NELBO: 5347.06
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  172
model: ETM(
  (t_drop): Dropout(p=0.05528036167476958, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=92, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=92, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=92, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 97.34 .. Rec_loss: 12264.01 .. NELBO: 12361.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.55 .. Rec_loss: 5443.97 .. NELBO: 5452.52
****************************************************************************************************
Validation loss decreased (inf --> 10905.053711).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 9.36 .. Rec_loss: 12248.47 .. NELBO: 12257.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.51 .. Rec_loss: 5431.93 .. NELBO: 5432.44
****************************************************************************************************
Validation loss decreased (10905.053711 --> 10864.872070).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.72 .. Rec_loss: 12208.62 .. NELBO: 12209.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5408.67 .. NELBO: 5408.75
****************************************************************************************************
Validation loss decreased (10864.872070 --> 10817.500977).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 12137.42 .. NELBO: 12137.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5375.68 .. NELBO: 5375.71
****************************************************************************************************
Validation loss decreased (10817.500977 --> 10751.417969).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 12039.65 .. NELBO: 12039.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5339.05 .. NELBO: 5339.07
****************************************************************************************************
Validation loss decreased (10751.417969 --> 10678.140625).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11930.95 .. NELBO: 11931.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5309.79 .. NELBO: 5309.81
****************************************************************************************************
Validation loss decreased (10678.140625 --> 10619.614258).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11838.36 .. NELBO: 11838.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.23 .. NELBO: 5300.25
****************************************************************************************************
Validation loss decreased (10619.614258 --> 10600.497070).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11787.21 .. NELBO: 11787.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.87 .. NELBO: 5313.89
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.29 .. NELBO: 11781.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.42 .. NELBO: 5337.44
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11794.21 .. NELBO: 11794.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.35 .. NELBO: 5352.37
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.76 .. NELBO: 11795.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.49 .. NELBO: 5353.51
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11783.68 .. NELBO: 11783.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.13 .. NELBO: 5347.15
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05528036167476958, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=92, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=92, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=92, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 86.82 .. Rec_loss: 12264.45 .. NELBO: 12351.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.74 .. Rec_loss: 5444.63 .. NELBO: 5452.37
****************************************************************************************************
Validation loss decreased (inf --> 10904.737305).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.35 .. Rec_loss: 12250.6 .. NELBO: 12258.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.4 .. Rec_loss: 5433.55 .. NELBO: 5433.95
****************************************************************************************************
Validation loss decreased (10904.737305 --> 10867.911133).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.57 .. Rec_loss: 12213.99 .. NELBO: 12214.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5411.63 .. NELBO: 5411.7
****************************************************************************************************
Validation loss decreased (10867.911133 --> 10823.387695).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12146.5 .. NELBO: 12146.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5379.62 .. NELBO: 5379.65
****************************************************************************************************
Validation loss decreased (10823.387695 --> 10759.286133).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12051.36 .. NELBO: 12051.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5343.0 .. NELBO: 5343.02
****************************************************************************************************
Validation loss decreased (10759.286133 --> 10686.033203).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11943.03 .. NELBO: 11943.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.25 .. NELBO: 5312.27
****************************************************************************************************
Validation loss decreased (10686.033203 --> 10624.529297).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11846.83 .. NELBO: 11846.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.01 .. NELBO: 5300.03
****************************************************************************************************
Validation loss decreased (10624.529297 --> 10600.065430).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11789.96 .. NELBO: 11790.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.52 .. NELBO: 5311.54
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.17 .. NELBO: 11780.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.15 .. NELBO: 5335.17
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.99 .. NELBO: 11793.03
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.69 .. NELBO: 5351.71
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11797.02 .. NELBO: 11797.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5354.14 .. NELBO: 5354.16
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11785.73 .. NELBO: 11785.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5348.18 .. NELBO: 5348.2
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05528036167476958, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=92, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=92, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=92, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 94.09 .. Rec_loss: 12264.21 .. NELBO: 12358.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.19 .. Rec_loss: 5444.25 .. NELBO: 5452.44
****************************************************************************************************
Validation loss decreased (inf --> 10904.883789).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 9.03 .. Rec_loss: 12249.32 .. NELBO: 12258.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.49 .. Rec_loss: 5432.58 .. NELBO: 5433.07
****************************************************************************************************
Validation loss decreased (10904.883789 --> 10866.149414).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.68 .. Rec_loss: 12210.85 .. NELBO: 12211.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5410.27 .. NELBO: 5410.34
****************************************************************************************************
Validation loss decreased (10866.149414 --> 10820.696289).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12142.15 .. NELBO: 12142.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5378.22 .. NELBO: 5378.25
****************************************************************************************************
Validation loss decreased (10820.696289 --> 10756.489258).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12046.97 .. NELBO: 12047.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5341.9 .. NELBO: 5341.92
****************************************************************************************************
Validation loss decreased (10756.489258 --> 10683.844727).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11939.23 .. NELBO: 11939.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.8 .. NELBO: 5311.82
****************************************************************************************************
Validation loss decreased (10683.844727 --> 10623.639648).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11844.9 .. NELBO: 11844.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.3 .. NELBO: 5300.32
****************************************************************************************************
Validation loss decreased (10623.639648 --> 10600.645508).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11789.68 .. NELBO: 11789.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.14 .. NELBO: 5312.16
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.55 .. NELBO: 11780.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.5 .. NELBO: 5335.52
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.92 .. NELBO: 11792.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.56 .. NELBO: 5351.58
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.04 .. NELBO: 11796.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.74 .. NELBO: 5353.76
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11785.2 .. NELBO: 11785.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.73 .. NELBO: 5347.75
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  173
model: ETM(
  (t_drop): Dropout(p=0.037581333062839214, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=68, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=68, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=68, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 82.74 .. Rec_loss: 12264.25 .. NELBO: 12346.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.83 .. Rec_loss: 5444.13 .. NELBO: 5451.96
****************************************************************************************************
Validation loss decreased (inf --> 10903.926758).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.46 .. Rec_loss: 12249.19 .. NELBO: 12257.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.42 .. Rec_loss: 5432.59 .. NELBO: 5433.01
****************************************************************************************************
Validation loss decreased (10903.926758 --> 10866.027344).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.6 .. Rec_loss: 12211.13 .. NELBO: 12211.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5410.2 .. NELBO: 5410.27
****************************************************************************************************
Validation loss decreased (10866.027344 --> 10820.542969).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12142.66 .. NELBO: 12142.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5378.1 .. NELBO: 5378.12
****************************************************************************************************
Validation loss decreased (10820.542969 --> 10756.259766).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12047.42 .. NELBO: 12047.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5341.82 .. NELBO: 5341.84
****************************************************************************************************
Validation loss decreased (10756.259766 --> 10683.682617).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11940.13 .. NELBO: 11940.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.72 .. NELBO: 5311.74
****************************************************************************************************
Validation loss decreased (10683.682617 --> 10623.470703).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11846.11 .. NELBO: 11846.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.04 .. NELBO: 5300.06
****************************************************************************************************
Validation loss decreased (10623.470703 --> 10600.113281).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11790.47 .. NELBO: 11790.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.51 .. NELBO: 5311.53
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.05 .. NELBO: 11781.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5334.58 .. NELBO: 5334.6
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.36 .. NELBO: 11793.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.64 .. NELBO: 5350.66
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.68 .. NELBO: 11795.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.06 .. NELBO: 5353.08
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11785.04 .. NELBO: 11785.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.35 .. NELBO: 5347.37
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.037581333062839214, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=68, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=68, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=68, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 77.37 .. Rec_loss: 12263.73 .. NELBO: 12341.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.03 .. Rec_loss: 5443.64 .. NELBO: 5450.67
****************************************************************************************************
Validation loss decreased (inf --> 10901.353516).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.57 .. Rec_loss: 12246.88 .. NELBO: 12254.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.37 .. Rec_loss: 5431.13 .. NELBO: 5431.5
****************************************************************************************************
Validation loss decreased (10901.353516 --> 10862.995117).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.52 .. Rec_loss: 12205.73 .. NELBO: 12206.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5407.62 .. NELBO: 5407.68
****************************************************************************************************
Validation loss decreased (10862.995117 --> 10815.363281).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12134.07 .. NELBO: 12134.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5374.68 .. NELBO: 5374.7
****************************************************************************************************
Validation loss decreased (10815.363281 --> 10749.401367).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12036.14 .. NELBO: 12036.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5338.42 .. NELBO: 5338.44
****************************************************************************************************
Validation loss decreased (10749.401367 --> 10676.883789).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11927.92 .. NELBO: 11927.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5309.74 .. NELBO: 5309.76
****************************************************************************************************
Validation loss decreased (10676.883789 --> 10619.507812).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11836.14 .. NELBO: 11836.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.71 .. NELBO: 5300.73
****************************************************************************************************
Validation loss decreased (10619.507812 --> 10601.448242).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11786.62 .. NELBO: 11786.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5314.52 .. NELBO: 5314.54
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.01 .. NELBO: 11781.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.86 .. NELBO: 5337.88
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11793.22 .. NELBO: 11793.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.47 .. NELBO: 5352.49
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.77 .. NELBO: 11795.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.35 .. NELBO: 5353.37
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11783.67 .. NELBO: 11783.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.86 .. NELBO: 5346.88
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.037581333062839214, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=68, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=68, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=68, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 74.0 .. Rec_loss: 12264.58 .. NELBO: 12338.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.02 .. Rec_loss: 5444.11 .. NELBO: 5451.13
****************************************************************************************************
Validation loss decreased (inf --> 10902.266602).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.64 .. Rec_loss: 12249.03 .. NELBO: 12256.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.41 .. Rec_loss: 5432.43 .. NELBO: 5432.84
****************************************************************************************************
Validation loss decreased (10902.266602 --> 10865.688477).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.58 .. Rec_loss: 12210.86 .. NELBO: 12211.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5410.15 .. NELBO: 5410.22
****************************************************************************************************
Validation loss decreased (10865.688477 --> 10820.428711).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12142.33 .. NELBO: 12142.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5378.13 .. NELBO: 5378.15
****************************************************************************************************
Validation loss decreased (10820.428711 --> 10756.312500).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12047.49 .. NELBO: 12047.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5341.89 .. NELBO: 5341.91
****************************************************************************************************
Validation loss decreased (10756.312500 --> 10683.822266).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11940.06 .. NELBO: 11940.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.79 .. NELBO: 5311.81
****************************************************************************************************
Validation loss decreased (10683.822266 --> 10623.607422).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11845.75 .. NELBO: 11845.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5299.99 .. NELBO: 5300.0
****************************************************************************************************
Validation loss decreased (10623.607422 --> 10600.001953).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11790.07 .. NELBO: 11790.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.34 .. NELBO: 5311.36
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11780.2 .. NELBO: 11780.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5334.55 .. NELBO: 5334.57
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11792.82 .. NELBO: 11792.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.9 .. NELBO: 5350.92
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.24 .. NELBO: 11796.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.5 .. NELBO: 5353.52
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11785.01 .. NELBO: 11785.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5347.84 .. NELBO: 5347.85
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  174
model: ETM(
  (t_drop): Dropout(p=0.06168525071395514, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=62, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=62, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=62, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 79.98 .. Rec_loss: 12264.09 .. NELBO: 12344.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.96 .. Rec_loss: 5443.55 .. NELBO: 5451.51
****************************************************************************************************
Validation loss decreased (inf --> 10903.015625).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.63 .. Rec_loss: 12247.19 .. NELBO: 12255.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 5431.34 .. NELBO: 5431.79
****************************************************************************************************
Validation loss decreased (10903.015625 --> 10863.572266).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.64 .. Rec_loss: 12206.72 .. NELBO: 12207.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5408.06 .. NELBO: 5408.13
****************************************************************************************************
Validation loss decreased (10863.572266 --> 10816.268555).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12136.2 .. NELBO: 12136.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5375.45 .. NELBO: 5375.47
****************************************************************************************************
Validation loss decreased (10816.268555 --> 10750.937500).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12039.89 .. NELBO: 12039.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5339.37 .. NELBO: 5339.39
****************************************************************************************************
Validation loss decreased (10750.937500 --> 10678.769531).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11933.63 .. NELBO: 11933.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5310.3 .. NELBO: 5310.31
****************************************************************************************************
Validation loss decreased (10678.769531 --> 10620.626953).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11840.95 .. NELBO: 11840.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.14 .. NELBO: 5300.15
****************************************************************************************************
Validation loss decreased (10620.626953 --> 10600.305664).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11789.01 .. NELBO: 11789.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5312.7 .. NELBO: 5312.71
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.38 .. NELBO: 11781.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5335.75 .. NELBO: 5335.76
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11793.23 .. NELBO: 11793.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5351.1 .. NELBO: 5351.11
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.76 .. NELBO: 11795.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5352.93 .. NELBO: 5352.94
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11784.4 .. NELBO: 11784.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5346.99 .. NELBO: 5347.0
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06168525071395514, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=62, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=62, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=62, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 68.45 .. Rec_loss: 12263.82 .. NELBO: 12332.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.46 .. Rec_loss: 5443.45 .. NELBO: 5449.91
****************************************************************************************************
Validation loss decreased (inf --> 10899.816406).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.0 .. Rec_loss: 12246.54 .. NELBO: 12253.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.41 .. Rec_loss: 5430.71 .. NELBO: 5431.12
****************************************************************************************************
Validation loss decreased (10899.816406 --> 10862.251953).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.61 .. Rec_loss: 12205.2 .. NELBO: 12205.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5407.09 .. NELBO: 5407.18
****************************************************************************************************
Validation loss decreased (10862.251953 --> 10814.352539).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 12132.87 .. NELBO: 12133.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5374.09 .. NELBO: 5374.12
****************************************************************************************************
Validation loss decreased (10814.352539 --> 10748.247070).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 12035.05 .. NELBO: 12035.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5337.82 .. NELBO: 5337.85
****************************************************************************************************
Validation loss decreased (10748.247070 --> 10675.708008).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11927.62 .. NELBO: 11927.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5309.27 .. NELBO: 5309.31
****************************************************************************************************
Validation loss decreased (10675.708008 --> 10618.619141).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 11836.35 .. NELBO: 11836.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5300.51 .. NELBO: 5300.58
****************************************************************************************************
Validation loss decreased (10618.619141 --> 10601.163086).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.16 .. Rec_loss: 11786.99 .. NELBO: 11787.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5314.57 .. NELBO: 5314.66
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.17 .. Rec_loss: 11782.15 .. NELBO: 11782.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5337.74 .. NELBO: 5337.81
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 11794.25 .. NELBO: 11794.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5351.97 .. NELBO: 5352.02
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 11795.52 .. NELBO: 11795.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5352.73 .. NELBO: 5352.77
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 11783.22 .. NELBO: 11783.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5346.35 .. NELBO: 5346.38
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06168525071395514, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=62, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=62, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=62, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 69.96 .. Rec_loss: 12264.32 .. NELBO: 12334.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.98 .. Rec_loss: 5443.73 .. NELBO: 5450.71
****************************************************************************************************
Validation loss decreased (inf --> 10901.426758).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.56 .. Rec_loss: 12247.46 .. NELBO: 12255.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.36 .. Rec_loss: 5430.96 .. NELBO: 5431.32
****************************************************************************************************
Validation loss decreased (10901.426758 --> 10862.640625).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.52 .. Rec_loss: 12206.4 .. NELBO: 12206.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5407.23 .. NELBO: 5407.29
****************************************************************************************************
Validation loss decreased (10862.640625 --> 10814.576172).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 12133.94 .. NELBO: 12134.03
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5373.9 .. NELBO: 5373.92
****************************************************************************************************
Validation loss decreased (10814.576172 --> 10747.829102).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12035.07 .. NELBO: 12035.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5337.3 .. NELBO: 5337.31
****************************************************************************************************
Validation loss decreased (10747.829102 --> 10674.626953).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11926.58 .. NELBO: 11926.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5308.6 .. NELBO: 5308.61
****************************************************************************************************
Validation loss decreased (10674.626953 --> 10617.223633).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11834.98 .. NELBO: 11835.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.09 .. NELBO: 5300.1
****************************************************************************************************
Validation loss decreased (10617.223633 --> 10600.207031).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11785.58 .. NELBO: 11785.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5314.75 .. NELBO: 5314.76
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11781.56 .. NELBO: 11781.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5338.4 .. NELBO: 5338.41
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11794.68 .. NELBO: 11794.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5352.61 .. NELBO: 5352.62
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11795.1 .. NELBO: 11795.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.1 .. NELBO: 5353.11
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11782.8 .. NELBO: 11782.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5346.57 .. NELBO: 5346.58
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  175
model: ETM(
  (t_drop): Dropout(p=0.0563365655123734, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=90, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=90, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=90, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 86.04 .. Rec_loss: 12264.62 .. NELBO: 12350.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.93 .. Rec_loss: 5444.42 .. NELBO: 5452.35
****************************************************************************************************
Validation loss decreased (inf --> 10904.699219).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.53 .. Rec_loss: 12250.55 .. NELBO: 12259.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 5433.74 .. NELBO: 5434.17
****************************************************************************************************
Validation loss decreased (10904.699219 --> 10868.336914).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.62 .. Rec_loss: 12214.79 .. NELBO: 12215.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5412.77 .. NELBO: 5412.85
****************************************************************************************************
Validation loss decreased (10868.336914 --> 10825.690430).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12150.22 .. NELBO: 12150.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5382.11 .. NELBO: 5382.14
****************************************************************************************************
Validation loss decreased (10825.690430 --> 10764.279297).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12059.1 .. NELBO: 12059.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.51 .. NELBO: 5346.53
****************************************************************************************************
Validation loss decreased (10764.279297 --> 10693.060547).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11953.65 .. NELBO: 11953.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5315.36 .. NELBO: 5315.38
****************************************************************************************************
Validation loss decreased (10693.060547 --> 10630.766602).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11856.76 .. NELBO: 11856.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.73 .. NELBO: 5300.75
****************************************************************************************************
Validation loss decreased (10630.766602 --> 10601.502930).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.6 .. NELBO: 11795.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5309.02 .. NELBO: 5309.04
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.12 .. NELBO: 11780.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5331.38 .. NELBO: 5331.4
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11790.39 .. NELBO: 11790.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5349.17 .. NELBO: 5349.19
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.21 .. NELBO: 11796.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.38 .. NELBO: 5353.4
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11786.82 .. NELBO: 11786.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5348.34 .. NELBO: 5348.36
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.0563365655123734, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=90, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=90, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=90, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 80.97 .. Rec_loss: 12264.29 .. NELBO: 12345.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.1 .. Rec_loss: 5444.28 .. NELBO: 5452.38
****************************************************************************************************
Validation loss decreased (inf --> 10904.755859).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.78 .. Rec_loss: 12249.17 .. NELBO: 12257.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 5432.64 .. NELBO: 5433.02
****************************************************************************************************
Validation loss decreased (10904.755859 --> 10866.052734).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.55 .. Rec_loss: 12210.83 .. NELBO: 12211.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5410.32 .. NELBO: 5410.39
****************************************************************************************************
Validation loss decreased (10866.052734 --> 10820.763672).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12142.31 .. NELBO: 12142.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5378.27 .. NELBO: 5378.3
****************************************************************************************************
Validation loss decreased (10820.763672 --> 10756.598633).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12047.06 .. NELBO: 12047.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5342.02 .. NELBO: 5342.04
****************************************************************************************************
Validation loss decreased (10756.598633 --> 10684.093750).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11939.92 .. NELBO: 11939.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.97 .. NELBO: 5311.99
****************************************************************************************************
Validation loss decreased (10684.093750 --> 10623.972656).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11845.39 .. NELBO: 11845.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.32 .. NELBO: 5300.34
****************************************************************************************************
Validation loss decreased (10623.972656 --> 10600.684570).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11790.04 .. NELBO: 11790.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.8 .. NELBO: 5311.82
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.54 .. NELBO: 11780.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5334.94 .. NELBO: 5334.96
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.67 .. NELBO: 11792.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.09 .. NELBO: 5351.11
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.04 .. NELBO: 11796.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.52 .. NELBO: 5353.54
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11784.94 .. NELBO: 11784.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.7 .. NELBO: 5347.72
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.0563365655123734, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=90, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=90, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=90, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 80.72 .. Rec_loss: 12264.03 .. NELBO: 12344.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.84 .. Rec_loss: 5443.86 .. NELBO: 5450.7
****************************************************************************************************
Validation loss decreased (inf --> 10901.407227).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.37 .. Rec_loss: 12247.62 .. NELBO: 12254.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 5431.08 .. NELBO: 5431.46
****************************************************************************************************
Validation loss decreased (10901.407227 --> 10862.924805).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.54 .. Rec_loss: 12206.01 .. NELBO: 12206.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5407.32 .. NELBO: 5407.38
****************************************************************************************************
Validation loss decreased (10862.924805 --> 10814.763672).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12133.14 .. NELBO: 12133.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5374.04 .. NELBO: 5374.06
****************************************************************************************************
Validation loss decreased (10814.763672 --> 10748.126953).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12034.95 .. NELBO: 12034.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.59 .. NELBO: 5337.61
****************************************************************************************************
Validation loss decreased (10748.126953 --> 10675.210938).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11927.08 .. NELBO: 11927.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5309.05 .. NELBO: 5309.07
****************************************************************************************************
Validation loss decreased (10675.210938 --> 10618.133789).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11835.68 .. NELBO: 11835.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.46 .. NELBO: 5300.48
****************************************************************************************************
Validation loss decreased (10618.133789 --> 10600.950195).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11786.68 .. NELBO: 11786.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5314.62 .. NELBO: 5314.64
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.81 .. NELBO: 11781.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.88 .. NELBO: 5337.9
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.94 .. NELBO: 11793.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.24 .. NELBO: 5352.26
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.25 .. NELBO: 11795.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.12 .. NELBO: 5353.14
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11783.34 .. NELBO: 11783.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.78 .. NELBO: 5346.8
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  176
model: ETM(
  (t_drop): Dropout(p=0.06256592164481088, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=67, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=67, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=67, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 79.01 .. Rec_loss: 12264.1 .. NELBO: 12343.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.93 .. Rec_loss: 5443.77 .. NELBO: 5450.7
****************************************************************************************************
Validation loss decreased (inf --> 10901.418945).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.48 .. Rec_loss: 12247.86 .. NELBO: 12255.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.4 .. Rec_loss: 5431.49 .. NELBO: 5431.89
****************************************************************************************************
Validation loss decreased (10901.418945 --> 10863.773438).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.58 .. Rec_loss: 12207.33 .. NELBO: 12207.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5408.35 .. NELBO: 5408.42
****************************************************************************************************
Validation loss decreased (10863.773438 --> 10816.843750).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12136.59 .. NELBO: 12136.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5375.68 .. NELBO: 5375.7
****************************************************************************************************
Validation loss decreased (10816.843750 --> 10751.405273).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12039.3 .. NELBO: 12039.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5339.45 .. NELBO: 5339.47
****************************************************************************************************
Validation loss decreased (10751.405273 --> 10678.935547).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11931.67 .. NELBO: 11931.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5310.41 .. NELBO: 5310.42
****************************************************************************************************
Validation loss decreased (10678.935547 --> 10620.852539).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11839.81 .. NELBO: 11839.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.59 .. NELBO: 5300.6
****************************************************************************************************
Validation loss decreased (10620.852539 --> 10601.211914).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11787.54 .. NELBO: 11787.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5313.59 .. NELBO: 5313.6
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11780.77 .. NELBO: 11780.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5336.76 .. NELBO: 5336.77
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11793.38 .. NELBO: 11793.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5351.83 .. NELBO: 5351.84
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.79 .. NELBO: 11795.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.29 .. NELBO: 5353.3
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11783.99 .. NELBO: 11784.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5347.1 .. NELBO: 5347.11
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06256592164481088, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=67, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=67, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=67, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 85.22 .. Rec_loss: 12264.28 .. NELBO: 12349.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.73 .. Rec_loss: 5444.76 .. NELBO: 5452.49
****************************************************************************************************
Validation loss decreased (inf --> 10904.966797).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.39 .. Rec_loss: 12250.7 .. NELBO: 12259.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 5433.91 .. NELBO: 5434.36
****************************************************************************************************
Validation loss decreased (10904.966797 --> 10868.722656).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.66 .. Rec_loss: 12215.09 .. NELBO: 12215.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5412.75 .. NELBO: 5412.84
****************************************************************************************************
Validation loss decreased (10868.722656 --> 10825.664062).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 12149.79 .. NELBO: 12149.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5381.56 .. NELBO: 5381.59
****************************************************************************************************
Validation loss decreased (10825.664062 --> 10763.168945).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12056.81 .. NELBO: 12056.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5345.3 .. NELBO: 5345.32
****************************************************************************************************
Validation loss decreased (10763.168945 --> 10690.632812).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11949.45 .. NELBO: 11949.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.9 .. NELBO: 5313.92
****************************************************************************************************
Validation loss decreased (10690.632812 --> 10627.836914).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11851.95 .. NELBO: 11852.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5300.03 .. NELBO: 5300.06
****************************************************************************************************
Validation loss decreased (10627.836914 --> 10600.125977).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11791.57 .. NELBO: 11791.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5310.09 .. NELBO: 5310.13
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 11779.23 .. NELBO: 11779.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5333.72 .. NELBO: 5333.76
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 11791.9 .. NELBO: 11791.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5351.31 .. NELBO: 5351.35
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 11797.07 .. NELBO: 11797.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5354.66 .. NELBO: 5354.69
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 11786.76 .. NELBO: 11786.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5348.98 .. NELBO: 5349.01
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06256592164481088, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=67, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=67, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=67, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 80.76 .. Rec_loss: 12263.81 .. NELBO: 12344.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.49 .. Rec_loss: 5443.55 .. NELBO: 5451.04
****************************************************************************************************
Validation loss decreased (inf --> 10902.087891).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.03 .. Rec_loss: 12247.52 .. NELBO: 12255.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.4 .. Rec_loss: 5431.48 .. NELBO: 5431.88
****************************************************************************************************
Validation loss decreased (10902.087891 --> 10863.769531).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.58 .. Rec_loss: 12208.07 .. NELBO: 12208.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5408.79 .. NELBO: 5408.86
****************************************************************************************************
Validation loss decreased (10863.769531 --> 10817.717773).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12139.12 .. NELBO: 12139.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5376.49 .. NELBO: 5376.51
****************************************************************************************************
Validation loss decreased (10817.717773 --> 10753.029297).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12042.87 .. NELBO: 12042.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5340.29 .. NELBO: 5340.31
****************************************************************************************************
Validation loss decreased (10753.029297 --> 10680.619141).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11936.14 .. NELBO: 11936.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.72 .. NELBO: 5310.74
****************************************************************************************************
Validation loss decreased (10680.619141 --> 10621.473633).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11842.5 .. NELBO: 11842.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.02 .. NELBO: 5300.04
****************************************************************************************************
Validation loss decreased (10621.473633 --> 10600.063477).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11788.99 .. NELBO: 11789.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.48 .. NELBO: 5312.5
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11780.71 .. NELBO: 11780.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.8 .. NELBO: 5335.82
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11793.33 .. NELBO: 11793.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.3 .. NELBO: 5351.32
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.09 .. NELBO: 11796.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.1 .. NELBO: 5353.12
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11784.54 .. NELBO: 11784.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.15 .. NELBO: 5347.17
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  177
model: ETM(
  (t_drop): Dropout(p=0.05002316199583163, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=86, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=86, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=86, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 88.6 .. Rec_loss: 12264.48 .. NELBO: 12353.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.75 .. Rec_loss: 5444.53 .. NELBO: 5452.28
****************************************************************************************************
Validation loss decreased (inf --> 10904.549805).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.23 .. Rec_loss: 12250.33 .. NELBO: 12258.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 5433.39 .. NELBO: 5433.77
****************************************************************************************************
Validation loss decreased (10904.549805 --> 10867.541992).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.56 .. Rec_loss: 12213.52 .. NELBO: 12214.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5412.0 .. NELBO: 5412.08
****************************************************************************************************
Validation loss decreased (10867.541992 --> 10824.156250).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12147.51 .. NELBO: 12147.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5380.85 .. NELBO: 5380.88
****************************************************************************************************
Validation loss decreased (10824.156250 --> 10761.750977).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12054.86 .. NELBO: 12054.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5344.91 .. NELBO: 5344.93
****************************************************************************************************
Validation loss decreased (10761.750977 --> 10689.857422).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11948.2 .. NELBO: 11948.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5314.02 .. NELBO: 5314.04
****************************************************************************************************
Validation loss decreased (10689.857422 --> 10628.077148).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11852.0 .. NELBO: 11852.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.46 .. NELBO: 5300.48
****************************************************************************************************
Validation loss decreased (10628.077148 --> 10600.962891).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.82 .. NELBO: 11792.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.1 .. NELBO: 5310.12
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11779.89 .. NELBO: 11779.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5332.9 .. NELBO: 5332.92
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11791.34 .. NELBO: 11791.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.04 .. NELBO: 5350.06
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.43 .. NELBO: 11796.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.46 .. NELBO: 5353.48
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11785.69 .. NELBO: 11785.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5348.15 .. NELBO: 5348.17
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05002316199583163, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=86, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=86, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=86, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 89.47 .. Rec_loss: 12263.9 .. NELBO: 12353.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.37 .. Rec_loss: 5443.59 .. NELBO: 5451.96
****************************************************************************************************
Validation loss decreased (inf --> 10903.921875).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 9.03 .. Rec_loss: 12246.94 .. NELBO: 12255.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.41 .. Rec_loss: 5430.82 .. NELBO: 5431.23
****************************************************************************************************
Validation loss decreased (10903.921875 --> 10862.448242).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.58 .. Rec_loss: 12205.25 .. NELBO: 12205.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5407.0 .. NELBO: 5407.06
****************************************************************************************************
Validation loss decreased (10862.448242 --> 10814.115234).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 12132.65 .. NELBO: 12132.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5373.68 .. NELBO: 5373.7
****************************************************************************************************
Validation loss decreased (10814.115234 --> 10747.396484).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12034.13 .. NELBO: 12034.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.2 .. NELBO: 5337.22
****************************************************************************************************
Validation loss decreased (10747.396484 --> 10674.441406).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11926.3 .. NELBO: 11926.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5308.77 .. NELBO: 5308.79
****************************************************************************************************
Validation loss decreased (10674.441406 --> 10617.577148).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11835.06 .. NELBO: 11835.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.52 .. NELBO: 5300.53
****************************************************************************************************
Validation loss decreased (10617.577148 --> 10601.070312).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11786.11 .. NELBO: 11786.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5315.12 .. NELBO: 5315.14
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11782.41 .. NELBO: 11782.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5338.46 .. NELBO: 5338.48
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11794.78 .. NELBO: 11794.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.47 .. NELBO: 5352.49
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.7 .. NELBO: 11795.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.86 .. NELBO: 5352.88
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11782.97 .. NELBO: 11783.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5346.32 .. NELBO: 5346.33
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05002316199583163, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=86, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=86, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=86, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 85.35 .. Rec_loss: 12264.1 .. NELBO: 12349.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.19 .. Rec_loss: 5443.86 .. NELBO: 5452.05
****************************************************************************************************
Validation loss decreased (inf --> 10904.101562).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.82 .. Rec_loss: 12247.91 .. NELBO: 12256.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 5431.78 .. NELBO: 5432.23
****************************************************************************************************
Validation loss decreased (10904.101562 --> 10864.463867).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.66 .. Rec_loss: 12208.57 .. NELBO: 12209.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5409.08 .. NELBO: 5409.17
****************************************************************************************************
Validation loss decreased (10864.463867 --> 10818.337891).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 12138.76 .. NELBO: 12138.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5376.78 .. NELBO: 5376.81
****************************************************************************************************
Validation loss decreased (10818.337891 --> 10753.611328).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12043.49 .. NELBO: 12043.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5340.54 .. NELBO: 5340.56
****************************************************************************************************
Validation loss decreased (10753.611328 --> 10681.117188).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11936.57 .. NELBO: 11936.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.84 .. NELBO: 5310.86
****************************************************************************************************
Validation loss decreased (10681.117188 --> 10621.718750).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11842.89 .. NELBO: 11842.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5299.95 .. NELBO: 5299.97
****************************************************************************************************
Validation loss decreased (10621.718750 --> 10599.934570).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11789.24 .. NELBO: 11789.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.26 .. NELBO: 5312.28
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11780.68 .. NELBO: 11780.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.66 .. NELBO: 5335.68
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11793.11 .. NELBO: 11793.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.44 .. NELBO: 5351.46
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.93 .. NELBO: 11795.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.41 .. NELBO: 5353.43
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11784.58 .. NELBO: 11784.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.39 .. NELBO: 5347.41
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  178
model: ETM(
  (t_drop): Dropout(p=0.060825794560593525, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=55, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=55, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=55, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 72.77 .. Rec_loss: 12263.74 .. NELBO: 12336.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.48 .. Rec_loss: 5443.53 .. NELBO: 5451.01
****************************************************************************************************
Validation loss decreased (inf --> 10902.032227).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.02 .. Rec_loss: 12247.49 .. NELBO: 12255.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 5431.79 .. NELBO: 5432.18
****************************************************************************************************
Validation loss decreased (10902.032227 --> 10864.355469).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.56 .. Rec_loss: 12208.67 .. NELBO: 12209.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5409.0 .. NELBO: 5409.06
****************************************************************************************************
Validation loss decreased (10864.355469 --> 10818.116211).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 12138.46 .. NELBO: 12138.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5376.5 .. NELBO: 5376.52
****************************************************************************************************
Validation loss decreased (10818.116211 --> 10753.038086).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12042.05 .. NELBO: 12042.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5340.09 .. NELBO: 5340.1
****************************************************************************************************
Validation loss decreased (10753.038086 --> 10680.210938).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11933.4 .. NELBO: 11933.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5310.5 .. NELBO: 5310.51
****************************************************************************************************
Validation loss decreased (10680.210938 --> 10621.028320).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11840.61 .. NELBO: 11840.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.11 .. NELBO: 5300.12
****************************************************************************************************
Validation loss decreased (10621.028320 --> 10600.231445).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11788.18 .. NELBO: 11788.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5313.01 .. NELBO: 5313.02
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11780.36 .. NELBO: 11780.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5336.6 .. NELBO: 5336.61
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11792.57 .. NELBO: 11792.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5352.02 .. NELBO: 5352.03
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11796.39 .. NELBO: 11796.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.56 .. NELBO: 5353.57
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11784.14 .. NELBO: 11784.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5347.29 .. NELBO: 5347.3
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.060825794560593525, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=55, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=55, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=55, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 73.44 .. Rec_loss: 12264.07 .. NELBO: 12337.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.9 .. Rec_loss: 5443.5 .. NELBO: 5450.4
****************************************************************************************************
Validation loss decreased (inf --> 10900.794922).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.39 .. Rec_loss: 12247.22 .. NELBO: 12254.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 5431.33 .. NELBO: 5431.78
****************************************************************************************************
Validation loss decreased (10900.794922 --> 10863.563477).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.68 .. Rec_loss: 12206.61 .. NELBO: 12207.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5408.23 .. NELBO: 5408.32
****************************************************************************************************
Validation loss decreased (10863.563477 --> 10816.651367).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 12136.32 .. NELBO: 12136.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5375.59 .. NELBO: 5375.61
****************************************************************************************************
Validation loss decreased (10816.651367 --> 10751.226562).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12039.08 .. NELBO: 12039.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5339.33 .. NELBO: 5339.35
****************************************************************************************************
Validation loss decreased (10751.226562 --> 10678.684570).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11932.19 .. NELBO: 11932.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.1 .. NELBO: 5310.12
****************************************************************************************************
Validation loss decreased (10678.684570 --> 10620.242188).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11839.64 .. NELBO: 11839.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5300.11 .. NELBO: 5300.14
****************************************************************************************************
Validation loss decreased (10620.242188 --> 10600.273438).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11786.88 .. NELBO: 11786.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5313.28 .. NELBO: 5313.32
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 11780.05 .. NELBO: 11780.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5336.87 .. NELBO: 5336.91
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 11794.26 .. NELBO: 11794.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5352.17 .. NELBO: 5352.21
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 11795.91 .. NELBO: 11795.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5353.58 .. NELBO: 5353.61
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 11784.24 .. NELBO: 11784.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5347.29 .. NELBO: 5347.32
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.060825794560593525, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=55, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=55, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=55, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 68.87 .. Rec_loss: 12264.19 .. NELBO: 12333.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.56 .. Rec_loss: 5443.9 .. NELBO: 5451.46
****************************************************************************************************
Validation loss decreased (inf --> 10902.935547).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.13 .. Rec_loss: 12248.37 .. NELBO: 12256.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.33 .. Rec_loss: 5432.18 .. NELBO: 5432.51
****************************************************************************************************
Validation loss decreased (10902.935547 --> 10865.013672).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.49 .. Rec_loss: 12209.72 .. NELBO: 12210.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5409.47 .. NELBO: 5409.54
****************************************************************************************************
Validation loss decreased (10865.013672 --> 10819.074219).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12139.52 .. NELBO: 12139.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5377.0 .. NELBO: 5377.02
****************************************************************************************************
Validation loss decreased (10819.074219 --> 10754.041016).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12043.11 .. NELBO: 12043.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5340.5 .. NELBO: 5340.52
****************************************************************************************************
Validation loss decreased (10754.041016 --> 10681.029297).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11935.18 .. NELBO: 11935.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5310.7 .. NELBO: 5310.71
****************************************************************************************************
Validation loss decreased (10681.029297 --> 10621.422852).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11841.01 .. NELBO: 11841.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.12 .. NELBO: 5300.14
****************************************************************************************************
Validation loss decreased (10621.422852 --> 10600.269531).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11787.71 .. NELBO: 11787.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.07 .. NELBO: 5313.09
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.72 .. NELBO: 11780.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.76 .. NELBO: 5336.78
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11793.32 .. NELBO: 11793.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.26 .. NELBO: 5352.28
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.65 .. NELBO: 11796.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.76 .. NELBO: 5353.78
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11784.34 .. NELBO: 11784.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5347.46 .. NELBO: 5347.47
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  179
model: ETM(
  (t_drop): Dropout(p=0.06489564028344115, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=92, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=92, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=92, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 96.29 .. Rec_loss: 12264.22 .. NELBO: 12360.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.72 .. Rec_loss: 5444.06 .. NELBO: 5452.78
****************************************************************************************************
Validation loss decreased (inf --> 10905.562500).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 9.52 .. Rec_loss: 12248.35 .. NELBO: 12257.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.51 .. Rec_loss: 5431.71 .. NELBO: 5432.22
****************************************************************************************************
Validation loss decreased (10905.562500 --> 10864.428711).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.72 .. Rec_loss: 12207.84 .. NELBO: 12208.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5408.25 .. NELBO: 5408.33
****************************************************************************************************
Validation loss decreased (10864.428711 --> 10816.663086).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12136.5 .. NELBO: 12136.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5375.14 .. NELBO: 5375.17
****************************************************************************************************
Validation loss decreased (10816.663086 --> 10750.331055).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12038.72 .. NELBO: 12038.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5338.56 .. NELBO: 5338.58
****************************************************************************************************
Validation loss decreased (10750.331055 --> 10677.175781).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11930.16 .. NELBO: 11930.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5309.58 .. NELBO: 5309.6
****************************************************************************************************
Validation loss decreased (10677.175781 --> 10619.207031).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11838.58 .. NELBO: 11838.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.33 .. NELBO: 5300.35
****************************************************************************************************
Validation loss decreased (10619.207031 --> 10600.703125).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11788.04 .. NELBO: 11788.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.96 .. NELBO: 5313.98
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11782.29 .. NELBO: 11782.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.12 .. NELBO: 5337.14
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11794.17 .. NELBO: 11794.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.69 .. NELBO: 5351.71
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.3 .. NELBO: 11795.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.77 .. NELBO: 5352.79
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11783.28 .. NELBO: 11783.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.58 .. NELBO: 5346.6
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06489564028344115, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=92, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=92, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=92, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 91.19 .. Rec_loss: 12264.06 .. NELBO: 12355.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.98 .. Rec_loss: 5444.36 .. NELBO: 5452.34
****************************************************************************************************
Validation loss decreased (inf --> 10904.678711).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.61 .. Rec_loss: 12249.83 .. NELBO: 12258.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 5432.95 .. NELBO: 5433.38
****************************************************************************************************
Validation loss decreased (10904.678711 --> 10866.758789).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.61 .. Rec_loss: 12211.7 .. NELBO: 12212.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5410.48 .. NELBO: 5410.55
****************************************************************************************************
Validation loss decreased (10866.758789 --> 10821.109375).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12142.35 .. NELBO: 12142.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5378.18 .. NELBO: 5378.21
****************************************************************************************************
Validation loss decreased (10821.109375 --> 10756.413086).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12046.7 .. NELBO: 12046.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5341.67 .. NELBO: 5341.69
****************************************************************************************************
Validation loss decreased (10756.413086 --> 10683.371094).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11938.72 .. NELBO: 11938.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.56 .. NELBO: 5311.58
****************************************************************************************************
Validation loss decreased (10683.371094 --> 10623.162109).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11844.33 .. NELBO: 11844.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.32 .. NELBO: 5300.34
****************************************************************************************************
Validation loss decreased (10623.162109 --> 10600.667969).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11789.39 .. NELBO: 11789.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.46 .. NELBO: 5312.48
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.72 .. NELBO: 11780.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.84 .. NELBO: 5335.86
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.16 .. NELBO: 11793.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.59 .. NELBO: 5351.61
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.39 .. NELBO: 11796.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.52 .. NELBO: 5353.54
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11784.96 .. NELBO: 11785.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.47 .. NELBO: 5347.49
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06489564028344115, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=92, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=92, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=92, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 84.43 .. Rec_loss: 12263.99 .. NELBO: 12348.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.94 .. Rec_loss: 5444.22 .. NELBO: 5452.16
****************************************************************************************************
Validation loss decreased (inf --> 10904.322266).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.63 .. Rec_loss: 12248.84 .. NELBO: 12257.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.4 .. Rec_loss: 5432.42 .. NELBO: 5432.82
****************************************************************************************************
Validation loss decreased (10904.322266 --> 10865.640625).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.57 .. Rec_loss: 12209.92 .. NELBO: 12210.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5409.57 .. NELBO: 5409.64
****************************************************************************************************
Validation loss decreased (10865.640625 --> 10819.282227).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12139.73 .. NELBO: 12139.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5377.0 .. NELBO: 5377.03
****************************************************************************************************
Validation loss decreased (10819.282227 --> 10754.043945).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12042.61 .. NELBO: 12042.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5340.51 .. NELBO: 5340.53
****************************************************************************************************
Validation loss decreased (10754.043945 --> 10681.060547).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11934.66 .. NELBO: 11934.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.92 .. NELBO: 5310.94
****************************************************************************************************
Validation loss decreased (10681.060547 --> 10621.875977).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11841.55 .. NELBO: 11841.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.6 .. NELBO: 5300.62
****************************************************************************************************
Validation loss decreased (10621.875977 --> 10601.230469).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11788.61 .. NELBO: 11788.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.55 .. NELBO: 5313.57
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.44 .. NELBO: 11781.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.95 .. NELBO: 5336.97
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.81 .. NELBO: 11793.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.11 .. NELBO: 5352.13
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.62 .. NELBO: 11796.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.44 .. NELBO: 5353.46
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11784.13 .. NELBO: 11784.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.1 .. NELBO: 5347.12
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  180
model: ETM(
  (t_drop): Dropout(p=0.033658286375473016, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=85, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=85, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=85, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 94.76 .. Rec_loss: 12264.35 .. NELBO: 12359.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.7 .. Rec_loss: 5444.43 .. NELBO: 5453.13
****************************************************************************************************
Validation loss decreased (inf --> 10906.264648).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 9.51 .. Rec_loss: 12250.09 .. NELBO: 12259.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.51 .. Rec_loss: 5433.5 .. NELBO: 5434.01
****************************************************************************************************
Validation loss decreased (10906.264648 --> 10868.013672).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.72 .. Rec_loss: 12213.11 .. NELBO: 12213.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5411.68 .. NELBO: 5411.77
****************************************************************************************************
Validation loss decreased (10868.013672 --> 10823.536133).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 12145.83 .. NELBO: 12145.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5380.06 .. NELBO: 5380.09
****************************************************************************************************
Validation loss decreased (10823.536133 --> 10760.179688).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 12051.24 .. NELBO: 12051.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5343.94 .. NELBO: 5343.96
****************************************************************************************************
Validation loss decreased (10760.179688 --> 10687.918945).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11944.75 .. NELBO: 11944.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.4 .. NELBO: 5313.42
****************************************************************************************************
Validation loss decreased (10687.918945 --> 10626.842773).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11848.84 .. NELBO: 11848.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.67 .. NELBO: 5300.69
****************************************************************************************************
Validation loss decreased (10626.842773 --> 10601.383789).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11791.36 .. NELBO: 11791.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.08 .. NELBO: 5311.1
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.05 .. NELBO: 11780.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5334.04 .. NELBO: 5334.06
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.3 .. NELBO: 11792.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.8 .. NELBO: 5350.82
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.66 .. NELBO: 11796.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.78 .. NELBO: 5353.8
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11786.19 .. NELBO: 11786.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5348.1 .. NELBO: 5348.12
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.033658286375473016, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=85, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=85, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=85, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 83.26 .. Rec_loss: 12264.37 .. NELBO: 12347.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.4 .. Rec_loss: 5443.83 .. NELBO: 5451.23
****************************************************************************************************
Validation loss decreased (inf --> 10902.478516).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.94 .. Rec_loss: 12247.9 .. NELBO: 12255.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.42 .. Rec_loss: 5431.3 .. NELBO: 5431.72
****************************************************************************************************
Validation loss decreased (10902.478516 --> 10863.458008).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.62 .. Rec_loss: 12207.23 .. NELBO: 12207.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5407.74 .. NELBO: 5407.82
****************************************************************************************************
Validation loss decreased (10863.458008 --> 10815.644531).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12135.28 .. NELBO: 12135.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5374.53 .. NELBO: 5374.56
****************************************************************************************************
Validation loss decreased (10815.644531 --> 10749.114258).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12037.11 .. NELBO: 12037.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.99 .. NELBO: 5338.01
****************************************************************************************************
Validation loss decreased (10749.114258 --> 10676.011719).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11929.36 .. NELBO: 11929.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5309.21 .. NELBO: 5309.23
****************************************************************************************************
Validation loss decreased (10676.011719 --> 10618.454102).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11838.07 .. NELBO: 11838.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.33 .. NELBO: 5300.35
****************************************************************************************************
Validation loss decreased (10618.454102 --> 10600.698242).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11787.78 .. NELBO: 11787.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5314.3 .. NELBO: 5314.32
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11782.58 .. NELBO: 11782.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.44 .. NELBO: 5337.46
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11794.07 .. NELBO: 11794.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.66 .. NELBO: 5351.68
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.53 .. NELBO: 11795.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.44 .. NELBO: 5352.46
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11782.94 .. NELBO: 11782.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.13 .. NELBO: 5346.15
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.033658286375473016, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=85, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=85, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=85, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 76.35 .. Rec_loss: 12264.18 .. NELBO: 12340.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.4 .. Rec_loss: 5444.04 .. NELBO: 5451.44
****************************************************************************************************
Validation loss decreased (inf --> 10902.875977).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.97 .. Rec_loss: 12248.11 .. NELBO: 12256.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.36 .. Rec_loss: 5431.52 .. NELBO: 5431.88
****************************************************************************************************
Validation loss decreased (10902.875977 --> 10863.753906).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.51 .. Rec_loss: 12207.75 .. NELBO: 12208.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5408.29 .. NELBO: 5408.35
****************************************************************************************************
Validation loss decreased (10863.753906 --> 10816.689453).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 12136.71 .. NELBO: 12136.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5375.61 .. NELBO: 5375.63
****************************************************************************************************
Validation loss decreased (10816.689453 --> 10751.273438).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12040.0 .. NELBO: 12040.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5339.51 .. NELBO: 5339.53
****************************************************************************************************
Validation loss decreased (10751.273438 --> 10679.059570).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11933.33 .. NELBO: 11933.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.58 .. NELBO: 5310.6
****************************************************************************************************
Validation loss decreased (10679.059570 --> 10621.198242).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11841.64 .. NELBO: 11841.67
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.62 .. NELBO: 5300.64
****************************************************************************************************
Validation loss decreased (10621.198242 --> 10601.274414).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11789.72 .. NELBO: 11789.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.16 .. NELBO: 5313.18
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11782.02 .. NELBO: 11782.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.81 .. NELBO: 5335.83
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.17 .. NELBO: 11793.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.75 .. NELBO: 5350.77
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.12 .. NELBO: 11795.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.44 .. NELBO: 5352.46
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11783.78 .. NELBO: 11783.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.58 .. NELBO: 5346.6
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  181
model: ETM(
  (t_drop): Dropout(p=0.04998046010424031, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=67, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=67, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=67, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 96.88 .. Rec_loss: 12263.86 .. NELBO: 12360.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 9.0 .. Rec_loss: 5443.98 .. NELBO: 5452.98
****************************************************************************************************
Validation loss decreased (inf --> 10905.950195).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 9.61 .. Rec_loss: 12248.88 .. NELBO: 12258.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.53 .. Rec_loss: 5432.6 .. NELBO: 5433.13
****************************************************************************************************
Validation loss decreased (10905.950195 --> 10866.252930).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.78 .. Rec_loss: 12211.46 .. NELBO: 12212.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 5410.66 .. NELBO: 5410.76
****************************************************************************************************
Validation loss decreased (10866.252930 --> 10821.523438).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.15 .. Rec_loss: 12144.29 .. NELBO: 12144.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5378.91 .. NELBO: 5378.94
****************************************************************************************************
Validation loss decreased (10821.523438 --> 10757.877930).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12049.48 .. NELBO: 12049.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5342.64 .. NELBO: 5342.66
****************************************************************************************************
Validation loss decreased (10757.877930 --> 10685.319336).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11942.56 .. NELBO: 11942.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.12 .. NELBO: 5312.14
****************************************************************************************************
Validation loss decreased (10685.319336 --> 10624.275391).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11847.37 .. NELBO: 11847.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5299.83 .. NELBO: 5299.86
****************************************************************************************************
Validation loss decreased (10624.275391 --> 10599.708008).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11790.45 .. NELBO: 11790.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5311.09 .. NELBO: 5311.13
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 11780.21 .. NELBO: 11780.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5334.64 .. NELBO: 5334.68
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 11792.88 .. NELBO: 11792.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5351.29 .. NELBO: 5351.33
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 11796.65 .. NELBO: 11796.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5353.86 .. NELBO: 5353.89
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11785.86 .. NELBO: 11785.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.99 .. NELBO: 5348.01
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.04998046010424031, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=67, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=67, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=67, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 75.32 .. Rec_loss: 12264.05 .. NELBO: 12339.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.0 .. Rec_loss: 5444.1 .. NELBO: 5451.1
****************************************************************************************************
Validation loss decreased (inf --> 10902.202148).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.54 .. Rec_loss: 12248.78 .. NELBO: 12256.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.35 .. Rec_loss: 5432.24 .. NELBO: 5432.59
****************************************************************************************************
Validation loss decreased (10902.202148 --> 10865.188477).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.5 .. Rec_loss: 12209.79 .. NELBO: 12210.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5409.65 .. NELBO: 5409.71
****************************************************************************************************
Validation loss decreased (10865.188477 --> 10819.423828).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 12140.42 .. NELBO: 12140.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5377.25 .. NELBO: 5377.27
****************************************************************************************************
Validation loss decreased (10819.423828 --> 10754.540039).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12044.06 .. NELBO: 12044.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5340.71 .. NELBO: 5340.72
****************************************************************************************************
Validation loss decreased (10754.540039 --> 10681.453125).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11935.65 .. NELBO: 11935.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5310.88 .. NELBO: 5310.89
****************************************************************************************************
Validation loss decreased (10681.453125 --> 10621.785156).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11840.96 .. NELBO: 11840.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.36 .. NELBO: 5300.37
****************************************************************************************************
Validation loss decreased (10621.785156 --> 10600.741211).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11787.29 .. NELBO: 11787.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5313.36 .. NELBO: 5313.37
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11780.47 .. NELBO: 11780.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5337.12 .. NELBO: 5337.13
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11793.78 .. NELBO: 11793.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5352.6 .. NELBO: 5352.61
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.57 .. NELBO: 11796.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5354.0 .. NELBO: 5354.01
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11784.25 .. NELBO: 11784.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5347.6 .. NELBO: 5347.61
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.04998046010424031, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=67, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=67, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=67, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 70.54 .. Rec_loss: 12264.27 .. NELBO: 12334.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.45 .. Rec_loss: 5444.42 .. NELBO: 5451.87
****************************************************************************************************
Validation loss decreased (inf --> 10903.738281).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.97 .. Rec_loss: 12249.71 .. NELBO: 12257.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.34 .. Rec_loss: 5433.18 .. NELBO: 5433.52
****************************************************************************************************
Validation loss decreased (10903.738281 --> 10867.032227).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.5 .. Rec_loss: 12212.57 .. NELBO: 12213.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5411.1 .. NELBO: 5411.17
****************************************************************************************************
Validation loss decreased (10867.032227 --> 10822.325195).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12144.53 .. NELBO: 12144.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5379.15 .. NELBO: 5379.17
****************************************************************************************************
Validation loss decreased (10822.325195 --> 10758.347656).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12049.28 .. NELBO: 12049.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5342.79 .. NELBO: 5342.81
****************************************************************************************************
Validation loss decreased (10758.347656 --> 10685.604492).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11942.28 .. NELBO: 11942.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.39 .. NELBO: 5312.41
****************************************************************************************************
Validation loss decreased (10685.604492 --> 10624.805664).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11847.14 .. NELBO: 11847.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.37 .. NELBO: 5300.39
****************************************************************************************************
Validation loss decreased (10624.805664 --> 10600.763672).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11791.35 .. NELBO: 11791.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.69 .. NELBO: 5311.71
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.0 .. NELBO: 11781.03
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5334.85 .. NELBO: 5334.87
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11793.21 .. NELBO: 11793.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.99 .. NELBO: 5351.01
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.32 .. NELBO: 11796.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.32 .. NELBO: 5353.34
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11785.14 .. NELBO: 11785.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5347.44 .. NELBO: 5347.45
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  182
model: ETM(
  (t_drop): Dropout(p=0.049875457089077195, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=98, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=98, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=98, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 90.84 .. Rec_loss: 12264.38 .. NELBO: 12355.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.06 .. Rec_loss: 5444.17 .. NELBO: 5452.23
****************************************************************************************************
Validation loss decreased (inf --> 10904.443359).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.71 .. Rec_loss: 12248.8 .. NELBO: 12257.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.41 .. Rec_loss: 5432.24 .. NELBO: 5432.65
****************************************************************************************************
Validation loss decreased (10904.443359 --> 10865.318359).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.59 .. Rec_loss: 12209.57 .. NELBO: 12210.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5409.69 .. NELBO: 5409.76
****************************************************************************************************
Validation loss decreased (10865.318359 --> 10819.514648).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12140.42 .. NELBO: 12140.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5377.56 .. NELBO: 5377.59
****************************************************************************************************
Validation loss decreased (10819.514648 --> 10755.166992).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12045.16 .. NELBO: 12045.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5341.42 .. NELBO: 5341.44
****************************************************************************************************
Validation loss decreased (10755.166992 --> 10682.876953).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11938.43 .. NELBO: 11938.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.69 .. NELBO: 5311.71
****************************************************************************************************
Validation loss decreased (10682.876953 --> 10623.419922).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11844.57 .. NELBO: 11844.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.54 .. NELBO: 5300.56
****************************************************************************************************
Validation loss decreased (10623.419922 --> 10601.119141).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11789.98 .. NELBO: 11790.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.35 .. NELBO: 5312.37
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.18 .. NELBO: 11781.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.35 .. NELBO: 5335.37
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.93 .. NELBO: 11792.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.08 .. NELBO: 5351.1
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.86 .. NELBO: 11795.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.17 .. NELBO: 5353.19
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11784.38 .. NELBO: 11784.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.29 .. NELBO: 5347.31
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.049875457089077195, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=98, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=98, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=98, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 102.32 .. Rec_loss: 12264.01 .. NELBO: 12366.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.11 .. Rec_loss: 5444.21 .. NELBO: 5452.32
****************************************************************************************************
Validation loss decreased (inf --> 10904.626953).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.69 .. Rec_loss: 12248.99 .. NELBO: 12257.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.5 .. Rec_loss: 5432.49 .. NELBO: 5432.99
****************************************************************************************************
Validation loss decreased (10904.626953 --> 10865.980469).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.73 .. Rec_loss: 12209.96 .. NELBO: 12210.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5409.83 .. NELBO: 5409.92
****************************************************************************************************
Validation loss decreased (10865.980469 --> 10819.845703).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 12140.21 .. NELBO: 12140.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5377.38 .. NELBO: 5377.41
****************************************************************************************************
Validation loss decreased (10819.845703 --> 10754.830078).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 12044.1 .. NELBO: 12044.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5340.9 .. NELBO: 5340.92
****************************************************************************************************
Validation loss decreased (10754.830078 --> 10681.841797).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11935.65 .. NELBO: 11935.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.08 .. NELBO: 5311.1
****************************************************************************************************
Validation loss decreased (10681.841797 --> 10622.202148).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11842.09 .. NELBO: 11842.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.4 .. NELBO: 5300.42
****************************************************************************************************
Validation loss decreased (10622.202148 --> 10600.847656).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11788.38 .. NELBO: 11788.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.11 .. NELBO: 5313.13
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.77 .. NELBO: 11780.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.65 .. NELBO: 5336.67
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.71 .. NELBO: 11793.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.19 .. NELBO: 5352.21
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.47 .. NELBO: 11796.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.82 .. NELBO: 5353.84
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11784.67 .. NELBO: 11784.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.58 .. NELBO: 5347.6
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.049875457089077195, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=98, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=98, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=98, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 104.31 .. Rec_loss: 12264.13 .. NELBO: 12368.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.75 .. Rec_loss: 5444.02 .. NELBO: 5452.77
****************************************************************************************************
Validation loss decreased (inf --> 10905.554688).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 9.36 .. Rec_loss: 12248.57 .. NELBO: 12257.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.51 .. Rec_loss: 5432.12 .. NELBO: 5432.63
****************************************************************************************************
Validation loss decreased (10905.554688 --> 10865.249023).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.73 .. Rec_loss: 12209.14 .. NELBO: 12209.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5409.23 .. NELBO: 5409.32
****************************************************************************************************
Validation loss decreased (10865.249023 --> 10818.647461).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 12138.78 .. NELBO: 12138.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5376.57 .. NELBO: 5376.6
****************************************************************************************************
Validation loss decreased (10818.647461 --> 10753.209961).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 12041.74 .. NELBO: 12041.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5340.03 .. NELBO: 5340.05
****************************************************************************************************
Validation loss decreased (10753.209961 --> 10680.108398).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11934.0 .. NELBO: 11934.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.49 .. NELBO: 5310.51
****************************************************************************************************
Validation loss decreased (10680.108398 --> 10621.016602).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11840.44 .. NELBO: 11840.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.37 .. NELBO: 5300.39
****************************************************************************************************
Validation loss decreased (10621.016602 --> 10600.788086).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11787.84 .. NELBO: 11787.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.57 .. NELBO: 5313.59
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11781.03 .. NELBO: 11781.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.06 .. NELBO: 5337.08
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11793.75 .. NELBO: 11793.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.16 .. NELBO: 5352.18
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11796.15 .. NELBO: 11796.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.43 .. NELBO: 5353.45
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11783.87 .. NELBO: 11783.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.12 .. NELBO: 5347.14
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  183
model: ETM(
  (t_drop): Dropout(p=0.021950933171219014, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=93, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=93, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=93, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 89.19 .. Rec_loss: 12264.22 .. NELBO: 12353.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.27 .. Rec_loss: 5444.11 .. NELBO: 5452.38
****************************************************************************************************
Validation loss decreased (inf --> 10904.775391).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.98 .. Rec_loss: 12248.75 .. NELBO: 12257.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 5432.23 .. NELBO: 5432.68
****************************************************************************************************
Validation loss decreased (10904.775391 --> 10865.365234).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.63 .. Rec_loss: 12209.58 .. NELBO: 12210.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5409.6 .. NELBO: 5409.67
****************************************************************************************************
Validation loss decreased (10865.365234 --> 10819.333984).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12140.38 .. NELBO: 12140.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5377.29 .. NELBO: 5377.31
****************************************************************************************************
Validation loss decreased (10819.333984 --> 10754.630859).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12044.37 .. NELBO: 12044.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5340.99 .. NELBO: 5341.01
****************************************************************************************************
Validation loss decreased (10754.630859 --> 10682.017578).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11936.75 .. NELBO: 11936.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.27 .. NELBO: 5311.29
****************************************************************************************************
Validation loss decreased (10682.017578 --> 10622.574219).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11842.75 .. NELBO: 11842.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.4 .. NELBO: 5300.42
****************************************************************************************************
Validation loss decreased (10622.574219 --> 10600.833008).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11789.06 .. NELBO: 11789.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.69 .. NELBO: 5312.71
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.7 .. NELBO: 11780.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.99 .. NELBO: 5336.01
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.82 .. NELBO: 11792.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.64 .. NELBO: 5351.66
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.19 .. NELBO: 11796.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.53 .. NELBO: 5353.55
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11784.75 .. NELBO: 11784.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.47 .. NELBO: 5347.49
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.021950933171219014, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=93, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=93, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=93, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 90.28 .. Rec_loss: 12264.33 .. NELBO: 12354.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.33 .. Rec_loss: 5444.29 .. NELBO: 5452.62
****************************************************************************************************
Validation loss decreased (inf --> 10905.251953).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 9.01 .. Rec_loss: 12249.2 .. NELBO: 12258.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.49 .. Rec_loss: 5432.18 .. NELBO: 5432.67
****************************************************************************************************
Validation loss decreased (10905.251953 --> 10865.350586).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.7 .. Rec_loss: 12209.1 .. NELBO: 12209.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5408.89 .. NELBO: 5408.97
****************************************************************************************************
Validation loss decreased (10865.350586 --> 10817.949219).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 12137.81 .. NELBO: 12137.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5375.87 .. NELBO: 5375.9
****************************************************************************************************
Validation loss decreased (10817.949219 --> 10751.803711).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 12040.55 .. NELBO: 12040.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5339.19 .. NELBO: 5339.21
****************************************************************************************************
Validation loss decreased (10751.803711 --> 10678.431641).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11931.71 .. NELBO: 11931.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5309.88 .. NELBO: 5309.9
****************************************************************************************************
Validation loss decreased (10678.431641 --> 10619.812500).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11839.34 .. NELBO: 11839.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.31 .. NELBO: 5300.33
****************************************************************************************************
Validation loss decreased (10619.812500 --> 10600.671875).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11788.0 .. NELBO: 11788.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.95 .. NELBO: 5313.97
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.96 .. NELBO: 11782.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.39 .. NELBO: 5337.41
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11794.36 .. NELBO: 11794.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.12 .. NELBO: 5352.14
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.17 .. NELBO: 11796.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.14 .. NELBO: 5353.16
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11783.28 .. NELBO: 11783.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.8 .. NELBO: 5346.82
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.021950933171219014, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=93, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=93, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=93, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 97.48 .. Rec_loss: 12264.41 .. NELBO: 12361.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.7 .. Rec_loss: 5444.52 .. NELBO: 5453.22
****************************************************************************************************
Validation loss decreased (inf --> 10906.437500).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 9.36 .. Rec_loss: 12250.17 .. NELBO: 12259.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.47 .. Rec_loss: 5433.47 .. NELBO: 5433.94
****************************************************************************************************
Validation loss decreased (10906.437500 --> 10867.882812).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.66 .. Rec_loss: 12213.83 .. NELBO: 12214.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5412.07 .. NELBO: 5412.14
****************************************************************************************************
Validation loss decreased (10867.882812 --> 10824.274414).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12148.04 .. NELBO: 12148.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5380.83 .. NELBO: 5380.85
****************************************************************************************************
Validation loss decreased (10824.274414 --> 10761.714844).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12054.69 .. NELBO: 12054.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5344.83 .. NELBO: 5344.85
****************************************************************************************************
Validation loss decreased (10761.714844 --> 10689.697266).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11948.0 .. NELBO: 11948.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.94 .. NELBO: 5313.96
****************************************************************************************************
Validation loss decreased (10689.697266 --> 10627.923828).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11851.89 .. NELBO: 11851.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.51 .. NELBO: 5300.53
****************************************************************************************************
Validation loss decreased (10627.923828 --> 10601.047852).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11792.7 .. NELBO: 11792.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.37 .. NELBO: 5310.39
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11780.05 .. NELBO: 11780.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5333.3 .. NELBO: 5333.32
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11791.88 .. NELBO: 11791.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.38 .. NELBO: 5350.4
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.46 .. NELBO: 11796.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.67 .. NELBO: 5353.69
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11786.32 .. NELBO: 11786.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5348.19 .. NELBO: 5348.21
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  184
model: ETM(
  (t_drop): Dropout(p=0.041536794283641695, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=96, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=96, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=96, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 101.99 .. Rec_loss: 12263.67 .. NELBO: 12365.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.28 .. Rec_loss: 5443.95 .. NELBO: 5452.23
****************************************************************************************************
Validation loss decreased (inf --> 10904.458008).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.94 .. Rec_loss: 12248.08 .. NELBO: 12257.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.52 .. Rec_loss: 5431.79 .. NELBO: 5432.31
****************************************************************************************************
Validation loss decreased (10904.458008 --> 10864.614258).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.74 .. Rec_loss: 12208.28 .. NELBO: 12209.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5408.57 .. NELBO: 5408.66
****************************************************************************************************
Validation loss decreased (10864.614258 --> 10817.316406).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 12136.64 .. NELBO: 12136.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5375.49 .. NELBO: 5375.52
****************************************************************************************************
Validation loss decreased (10817.316406 --> 10751.045898).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 12039.1 .. NELBO: 12039.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5338.79 .. NELBO: 5338.81
****************************************************************************************************
Validation loss decreased (10751.045898 --> 10677.629883).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11929.88 .. NELBO: 11929.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5309.66 .. NELBO: 5309.68
****************************************************************************************************
Validation loss decreased (10677.629883 --> 10619.360352).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11837.38 .. NELBO: 11837.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.47 .. NELBO: 5300.49
****************************************************************************************************
Validation loss decreased (10619.360352 --> 10600.972656).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11786.74 .. NELBO: 11786.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5314.47 .. NELBO: 5314.49
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.79 .. NELBO: 11781.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5338.03 .. NELBO: 5338.05
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11794.15 .. NELBO: 11794.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.69 .. NELBO: 5352.71
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.13 .. NELBO: 11796.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.54 .. NELBO: 5353.56
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11783.92 .. NELBO: 11783.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.04 .. NELBO: 5347.06
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.041536794283641695, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=96, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=96, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=96, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 96.62 .. Rec_loss: 12264.28 .. NELBO: 12360.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.83 .. Rec_loss: 5444.02 .. NELBO: 5452.85
****************************************************************************************************
Validation loss decreased (inf --> 10905.704102).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 9.48 .. Rec_loss: 12248.45 .. NELBO: 12257.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.44 .. Rec_loss: 5432.04 .. NELBO: 5432.48
****************************************************************************************************
Validation loss decreased (10905.704102 --> 10864.974609).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.63 .. Rec_loss: 12209.13 .. NELBO: 12209.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5409.29 .. NELBO: 5409.36
****************************************************************************************************
Validation loss decreased (10864.974609 --> 10818.731445).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12139.53 .. NELBO: 12139.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5376.88 .. NELBO: 5376.91
****************************************************************************************************
Validation loss decreased (10818.731445 --> 10753.818359).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12042.99 .. NELBO: 12043.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5340.62 .. NELBO: 5340.64
****************************************************************************************************
Validation loss decreased (10753.818359 --> 10681.282227).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11935.4 .. NELBO: 11935.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.11 .. NELBO: 5311.13
****************************************************************************************************
Validation loss decreased (10681.282227 --> 10622.260742).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11841.93 .. NELBO: 11841.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.51 .. NELBO: 5300.53
****************************************************************************************************
Validation loss decreased (10622.260742 --> 10601.060547).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11789.0 .. NELBO: 11789.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.9 .. NELBO: 5312.92
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.8 .. NELBO: 11780.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.06 .. NELBO: 5336.08
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.26 .. NELBO: 11793.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.56 .. NELBO: 5351.58
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.1 .. NELBO: 11796.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.38 .. NELBO: 5353.4
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11784.85 .. NELBO: 11784.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.35 .. NELBO: 5347.37
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.041536794283641695, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=96, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=96, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=96, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 86.06 .. Rec_loss: 12264.24 .. NELBO: 12350.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.09 .. Rec_loss: 5444.21 .. NELBO: 5452.3
****************************************************************************************************
Validation loss decreased (inf --> 10904.588867).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.68 .. Rec_loss: 12249.11 .. NELBO: 12257.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 5432.39 .. NELBO: 5432.78
****************************************************************************************************
Validation loss decreased (10904.588867 --> 10865.547852).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.55 .. Rec_loss: 12210.27 .. NELBO: 12210.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5409.82 .. NELBO: 5409.89
****************************************************************************************************
Validation loss decreased (10865.547852 --> 10819.779297).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12141.08 .. NELBO: 12141.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5377.59 .. NELBO: 5377.62
****************************************************************************************************
Validation loss decreased (10819.779297 --> 10755.223633).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12045.35 .. NELBO: 12045.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5341.35 .. NELBO: 5341.37
****************************************************************************************************
Validation loss decreased (10755.223633 --> 10682.741211).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11938.03 .. NELBO: 11938.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.57 .. NELBO: 5311.59
****************************************************************************************************
Validation loss decreased (10682.741211 --> 10623.174805).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11845.0 .. NELBO: 11845.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.37 .. NELBO: 5300.39
****************************************************************************************************
Validation loss decreased (10623.174805 --> 10600.788086).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11789.84 .. NELBO: 11789.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.25 .. NELBO: 5312.27
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.95 .. NELBO: 11780.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.38 .. NELBO: 5335.4
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.37 .. NELBO: 11793.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.15 .. NELBO: 5351.17
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.44 .. NELBO: 11796.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.25 .. NELBO: 5353.27
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11784.81 .. NELBO: 11784.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.33 .. NELBO: 5347.35
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  185
model: ETM(
  (t_drop): Dropout(p=0.05882039449393778, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=50, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=50, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=50, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 71.39 .. Rec_loss: 12264.03 .. NELBO: 12335.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.37 .. Rec_loss: 5443.81 .. NELBO: 5451.18
****************************************************************************************************
Validation loss decreased (inf --> 10902.360352).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.98 .. Rec_loss: 12248.57 .. NELBO: 12256.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 5432.76 .. NELBO: 5433.19
****************************************************************************************************
Validation loss decreased (10902.360352 --> 10866.375977).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.63 .. Rec_loss: 12211.97 .. NELBO: 12212.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5411.14 .. NELBO: 5411.22
****************************************************************************************************
Validation loss decreased (10866.375977 --> 10822.445312).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 12145.45 .. NELBO: 12145.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5379.81 .. NELBO: 5379.84
****************************************************************************************************
Validation loss decreased (10822.445312 --> 10759.660156).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12051.57 .. NELBO: 12051.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5343.79 .. NELBO: 5343.81
****************************************************************************************************
Validation loss decreased (10759.660156 --> 10687.611328).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11944.89 .. NELBO: 11944.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.13 .. NELBO: 5313.15
****************************************************************************************************
Validation loss decreased (10687.611328 --> 10626.300781).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11848.8 .. NELBO: 11848.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5300.27 .. NELBO: 5300.3
****************************************************************************************************
Validation loss decreased (10626.300781 --> 10600.603516).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 11791.2 .. NELBO: 11791.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5310.9 .. NELBO: 5310.94
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 11780.34 .. NELBO: 11780.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5334.17 .. NELBO: 5334.22
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 11791.69 .. NELBO: 11791.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5351.04 .. NELBO: 5351.09
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 11796.84 .. NELBO: 11796.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5353.97 .. NELBO: 5354.01
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 11786.38 .. NELBO: 11786.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5348.25 .. NELBO: 5348.28
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05882039449393778, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=50, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=50, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=50, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 67.52 .. Rec_loss: 12263.8 .. NELBO: 12331.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.95 .. Rec_loss: 5443.33 .. NELBO: 5450.28
****************************************************************************************************
Validation loss decreased (inf --> 10900.553711).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.54 .. Rec_loss: 12246.36 .. NELBO: 12253.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.41 .. Rec_loss: 5430.41 .. NELBO: 5430.82
****************************************************************************************************
Validation loss decreased (10900.553711 --> 10861.645508).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.63 .. Rec_loss: 12204.43 .. NELBO: 12205.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 5406.47 .. NELBO: 5406.58
****************************************************************************************************
Validation loss decreased (10861.645508 --> 10813.145508).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.17 .. Rec_loss: 12131.16 .. NELBO: 12131.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5373.07 .. NELBO: 5373.11
****************************************************************************************************
Validation loss decreased (10813.145508 --> 10746.224609).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 12032.51 .. NELBO: 12032.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5336.65 .. NELBO: 5336.68
****************************************************************************************************
Validation loss decreased (10746.224609 --> 10673.373047).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 11924.35 .. NELBO: 11924.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5308.42 .. NELBO: 5308.47
****************************************************************************************************
Validation loss decreased (10673.373047 --> 10616.940430).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 11833.62 .. NELBO: 11833.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5300.49 .. NELBO: 5300.57
****************************************************************************************************
Validation loss decreased (10616.940430 --> 10601.147461).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.19 .. Rec_loss: 11785.96 .. NELBO: 11786.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 5315.43 .. NELBO: 5315.55
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.24 .. Rec_loss: 11782.66 .. NELBO: 11782.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 5338.77 .. NELBO: 5338.89
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.24 .. Rec_loss: 11794.71 .. NELBO: 11794.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5352.51 .. NELBO: 5352.6
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.17 .. Rec_loss: 11795.35 .. NELBO: 11795.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5352.81 .. NELBO: 5352.87
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 11782.13 .. NELBO: 11782.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5346.33 .. NELBO: 5346.38
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05882039449393778, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=50, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=50, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=50, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 67.0 .. Rec_loss: 12263.32 .. NELBO: 12330.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.09 .. Rec_loss: 5443.2 .. NELBO: 5450.29
****************************************************************************************************
Validation loss decreased (inf --> 10900.583008).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.56 .. Rec_loss: 12245.59 .. NELBO: 12253.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.33 .. Rec_loss: 5430.33 .. NELBO: 5430.66
****************************************************************************************************
Validation loss decreased (10900.583008 --> 10861.322266).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.48 .. Rec_loss: 12203.69 .. NELBO: 12204.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5406.52 .. NELBO: 5406.58
****************************************************************************************************
Validation loss decreased (10861.322266 --> 10813.164062).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 12130.3 .. NELBO: 12130.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5373.41 .. NELBO: 5373.43
****************************************************************************************************
Validation loss decreased (10813.164062 --> 10746.858398).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12032.54 .. NELBO: 12032.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5337.24 .. NELBO: 5337.25
****************************************************************************************************
Validation loss decreased (10746.858398 --> 10674.512695).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11924.87 .. NELBO: 11924.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5308.96 .. NELBO: 5308.97
****************************************************************************************************
Validation loss decreased (10674.512695 --> 10617.948242).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11834.42 .. NELBO: 11834.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.54 .. NELBO: 5300.55
****************************************************************************************************
Validation loss decreased (10617.948242 --> 10601.094727).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11784.62 .. NELBO: 11784.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5314.84 .. NELBO: 5314.85
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11781.0 .. NELBO: 11781.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5338.19 .. NELBO: 5338.2
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11794.02 .. NELBO: 11794.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5352.4 .. NELBO: 5352.41
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11795.26 .. NELBO: 11795.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.03 .. NELBO: 5353.04
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11782.87 .. NELBO: 11782.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5346.59 .. NELBO: 5346.6
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  186
model: ETM(
  (t_drop): Dropout(p=0.0077686125291173596, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=86, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=86, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=86, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 85.9 .. Rec_loss: 12264.02 .. NELBO: 12349.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.84 .. Rec_loss: 5443.86 .. NELBO: 5451.7
****************************************************************************************************
Validation loss decreased (inf --> 10903.404297).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.55 .. Rec_loss: 12247.63 .. NELBO: 12256.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.46 .. Rec_loss: 5431.45 .. NELBO: 5431.91
****************************************************************************************************
Validation loss decreased (10903.404297 --> 10863.815430).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.63 .. Rec_loss: 12207.26 .. NELBO: 12207.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5408.29 .. NELBO: 5408.36
****************************************************************************************************
Validation loss decreased (10863.815430 --> 10816.712891).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12136.42 .. NELBO: 12136.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5375.66 .. NELBO: 5375.68
****************************************************************************************************
Validation loss decreased (10816.712891 --> 10751.374023).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12039.89 .. NELBO: 12039.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5339.45 .. NELBO: 5339.47
****************************************************************************************************
Validation loss decreased (10751.374023 --> 10678.933594).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11932.07 .. NELBO: 11932.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.37 .. NELBO: 5310.39
****************************************************************************************************
Validation loss decreased (10678.933594 --> 10620.782227).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11839.82 .. NELBO: 11839.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.52 .. NELBO: 5300.54
****************************************************************************************************
Validation loss decreased (10620.782227 --> 10601.083984).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11787.91 .. NELBO: 11787.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.58 .. NELBO: 5313.6
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.1 .. NELBO: 11781.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.8 .. NELBO: 5336.82
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.54 .. NELBO: 11793.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.81 .. NELBO: 5351.83
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.7 .. NELBO: 11795.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.14 .. NELBO: 5353.16
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11783.84 .. NELBO: 11783.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.9 .. NELBO: 5346.92
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.0077686125291173596, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=86, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=86, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=86, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 91.16 .. Rec_loss: 12264.41 .. NELBO: 12355.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.48 .. Rec_loss: 5444.21 .. NELBO: 5452.69
****************************************************************************************************
Validation loss decreased (inf --> 10905.383789).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.99 .. Rec_loss: 12249.24 .. NELBO: 12258.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 5432.61 .. NELBO: 5433.04
****************************************************************************************************
Validation loss decreased (10905.383789 --> 10866.064453).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.6 .. Rec_loss: 12211.34 .. NELBO: 12211.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5410.47 .. NELBO: 5410.54
****************************************************************************************************
Validation loss decreased (10866.064453 --> 10821.088867).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12143.54 .. NELBO: 12143.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5378.66 .. NELBO: 5378.69
****************************************************************************************************
Validation loss decreased (10821.088867 --> 10757.363281).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12049.06 .. NELBO: 12049.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5342.52 .. NELBO: 5342.54
****************************************************************************************************
Validation loss decreased (10757.363281 --> 10685.085938).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11942.5 .. NELBO: 11942.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.24 .. NELBO: 5312.26
****************************************************************************************************
Validation loss decreased (10685.085938 --> 10624.507812).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11848.01 .. NELBO: 11848.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5299.98 .. NELBO: 5300.0
****************************************************************************************************
Validation loss decreased (10624.507812 --> 10599.997070).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11791.59 .. NELBO: 11791.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.89 .. NELBO: 5310.91
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.02 .. NELBO: 11780.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5334.05 .. NELBO: 5334.07
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11791.89 .. NELBO: 11791.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.75 .. NELBO: 5350.77
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.52 .. NELBO: 11796.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.64 .. NELBO: 5353.66
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11785.44 .. NELBO: 11785.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5348.04 .. NELBO: 5348.06
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.0077686125291173596, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=86, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=86, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=86, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 93.77 .. Rec_loss: 12264.38 .. NELBO: 12358.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.46 .. Rec_loss: 5444.29 .. NELBO: 5452.75
****************************************************************************************************
Validation loss decreased (inf --> 10905.504883).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.98 .. Rec_loss: 12249.18 .. NELBO: 12258.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 5432.55 .. NELBO: 5432.98
****************************************************************************************************
Validation loss decreased (10905.504883 --> 10865.955078).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.62 .. Rec_loss: 12210.45 .. NELBO: 12211.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5410.06 .. NELBO: 5410.14
****************************************************************************************************
Validation loss decreased (10865.955078 --> 10820.280273).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12141.23 .. NELBO: 12141.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5377.77 .. NELBO: 5377.8
****************************************************************************************************
Validation loss decreased (10820.280273 --> 10755.608398).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12044.82 .. NELBO: 12044.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5341.4 .. NELBO: 5341.42
****************************************************************************************************
Validation loss decreased (10755.608398 --> 10682.834961).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11937.82 .. NELBO: 11937.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.55 .. NELBO: 5311.57
****************************************************************************************************
Validation loss decreased (10682.834961 --> 10623.150391).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11843.43 .. NELBO: 11843.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.56 .. NELBO: 5300.58
****************************************************************************************************
Validation loss decreased (10623.150391 --> 10601.151367).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11789.17 .. NELBO: 11789.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.77 .. NELBO: 5312.79
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.42 .. NELBO: 11780.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.07 .. NELBO: 5336.09
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.13 .. NELBO: 11793.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.76 .. NELBO: 5351.78
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.95 .. NELBO: 11795.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.67 .. NELBO: 5353.69
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11784.73 .. NELBO: 11784.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.6 .. NELBO: 5347.62
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  187
model: ETM(
  (t_drop): Dropout(p=0.06105472193266106, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=61, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=61, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=61, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 76.97 .. Rec_loss: 12264.35 .. NELBO: 12341.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.71 .. Rec_loss: 5444.0 .. NELBO: 5451.71
****************************************************************************************************
Validation loss decreased (inf --> 10903.416992).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.21 .. Rec_loss: 12248.91 .. NELBO: 12257.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 5432.44 .. NELBO: 5432.83
****************************************************************************************************
Validation loss decreased (10903.416992 --> 10865.654297).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.55 .. Rec_loss: 12210.57 .. NELBO: 12211.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5410.0 .. NELBO: 5410.07
****************************************************************************************************
Validation loss decreased (10865.654297 --> 10820.123047).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12142.04 .. NELBO: 12142.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5377.85 .. NELBO: 5377.87
****************************************************************************************************
Validation loss decreased (10820.123047 --> 10755.744141).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12046.97 .. NELBO: 12047.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5341.54 .. NELBO: 5341.55
****************************************************************************************************
Validation loss decreased (10755.744141 --> 10683.100586).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11939.75 .. NELBO: 11939.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5311.46 .. NELBO: 5311.47
****************************************************************************************************
Validation loss decreased (10683.100586 --> 10622.941406).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11845.28 .. NELBO: 11845.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5299.95 .. NELBO: 5299.96
****************************************************************************************************
Validation loss decreased (10622.941406 --> 10599.921875).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11790.19 .. NELBO: 11790.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5311.73 .. NELBO: 5311.74
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.05 .. NELBO: 11781.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5335.06 .. NELBO: 5335.07
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11793.26 .. NELBO: 11793.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5351.14 .. NELBO: 5351.15
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.1 .. NELBO: 11796.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.44 .. NELBO: 5353.45
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11785.2 .. NELBO: 11785.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5347.57 .. NELBO: 5347.58
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06105472193266106, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=61, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=61, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=61, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 76.55 .. Rec_loss: 12264.0 .. NELBO: 12340.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.61 .. Rec_loss: 5443.63 .. NELBO: 5451.24
****************************************************************************************************
Validation loss decreased (inf --> 10902.488281).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.19 .. Rec_loss: 12246.59 .. NELBO: 12254.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.46 .. Rec_loss: 5430.64 .. NELBO: 5431.1
****************************************************************************************************
Validation loss decreased (10902.488281 --> 10862.198242).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.69 .. Rec_loss: 12205.05 .. NELBO: 12205.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 5406.96 .. NELBO: 5407.06
****************************************************************************************************
Validation loss decreased (10862.198242 --> 10814.111328).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.16 .. Rec_loss: 12132.31 .. NELBO: 12132.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5373.86 .. NELBO: 5373.9
****************************************************************************************************
Validation loss decreased (10814.111328 --> 10747.799805).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 12034.29 .. NELBO: 12034.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5337.6 .. NELBO: 5337.63
****************************************************************************************************
Validation loss decreased (10747.799805 --> 10675.257812).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 11927.08 .. NELBO: 11927.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5309.13 .. NELBO: 5309.17
****************************************************************************************************
Validation loss decreased (10675.257812 --> 10618.342773).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 11835.79 .. NELBO: 11835.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5300.4 .. NELBO: 5300.45
****************************************************************************************************
Validation loss decreased (10618.342773 --> 10600.900391).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 11787.06 .. NELBO: 11787.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5314.26 .. NELBO: 5314.32
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 11781.67 .. NELBO: 11781.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5337.36 .. NELBO: 5337.42
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 11793.85 .. NELBO: 11793.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5351.75 .. NELBO: 5351.81
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 11795.12 .. NELBO: 11795.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5352.7 .. NELBO: 5352.75
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 11782.77 .. NELBO: 11782.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5346.43 .. NELBO: 5346.47
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06105472193266106, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=61, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=61, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=61, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 77.04 .. Rec_loss: 12264.11 .. NELBO: 12341.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.16 .. Rec_loss: 5443.97 .. NELBO: 5451.13
****************************************************************************************************
Validation loss decreased (inf --> 10902.262695).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.75 .. Rec_loss: 12248.45 .. NELBO: 12256.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.41 .. Rec_loss: 5432.08 .. NELBO: 5432.49
****************************************************************************************************
Validation loss decreased (10902.262695 --> 10864.986328).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.6 .. Rec_loss: 12209.13 .. NELBO: 12209.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5409.53 .. NELBO: 5409.6
****************************************************************************************************
Validation loss decreased (10864.986328 --> 10819.211914).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12140.53 .. NELBO: 12140.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5377.3 .. NELBO: 5377.32
****************************************************************************************************
Validation loss decreased (10819.211914 --> 10754.637695).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12044.29 .. NELBO: 12044.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5341.05 .. NELBO: 5341.06
****************************************************************************************************
Validation loss decreased (10754.637695 --> 10682.129883).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11936.5 .. NELBO: 11936.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5311.31 .. NELBO: 5311.32
****************************************************************************************************
Validation loss decreased (10682.129883 --> 10622.649414).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11842.79 .. NELBO: 11842.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.39 .. NELBO: 5300.4
****************************************************************************************************
Validation loss decreased (10622.649414 --> 10600.798828).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11788.75 .. NELBO: 11788.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5312.7 .. NELBO: 5312.71
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11780.55 .. NELBO: 11780.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5336.1 .. NELBO: 5336.11
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11792.74 .. NELBO: 11792.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5351.88 .. NELBO: 5351.89
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.36 .. NELBO: 11796.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.72 .. NELBO: 5353.73
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11784.51 .. NELBO: 11784.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5347.58 .. NELBO: 5347.59
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  188
model: ETM(
  (t_drop): Dropout(p=0.04922492985587084, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=94, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=94, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=94, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 97.62 .. Rec_loss: 12264.26 .. NELBO: 12361.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.57 .. Rec_loss: 5444.06 .. NELBO: 5452.63
****************************************************************************************************
Validation loss decreased (inf --> 10905.252930).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 9.17 .. Rec_loss: 12248.44 .. NELBO: 12257.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.46 .. Rec_loss: 5431.96 .. NELBO: 5432.42
****************************************************************************************************
Validation loss decreased (10905.252930 --> 10864.838867).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.66 .. Rec_loss: 12208.87 .. NELBO: 12209.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5409.23 .. NELBO: 5409.31
****************************************************************************************************
Validation loss decreased (10864.838867 --> 10818.624023).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12139.34 .. NELBO: 12139.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5376.88 .. NELBO: 5376.91
****************************************************************************************************
Validation loss decreased (10818.624023 --> 10753.810547).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12043.66 .. NELBO: 12043.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5340.65 .. NELBO: 5340.67
****************************************************************************************************
Validation loss decreased (10753.810547 --> 10681.340820).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11936.4 .. NELBO: 11936.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.12 .. NELBO: 5311.14
****************************************************************************************************
Validation loss decreased (10681.340820 --> 10622.273438).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11842.69 .. NELBO: 11842.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.42 .. NELBO: 5300.44
****************************************************************************************************
Validation loss decreased (10622.273438 --> 10600.879883).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11789.48 .. NELBO: 11789.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.68 .. NELBO: 5312.7
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.27 .. NELBO: 11781.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.72 .. NELBO: 5335.74
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.89 .. NELBO: 11792.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.17 .. NELBO: 5351.19
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.55 .. NELBO: 11795.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.08 .. NELBO: 5353.1
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11783.81 .. NELBO: 11783.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.2 .. NELBO: 5347.22
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.04922492985587084, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=94, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=94, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=94, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 95.92 .. Rec_loss: 12264.47 .. NELBO: 12360.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.46 .. Rec_loss: 5444.81 .. NELBO: 5453.27
****************************************************************************************************
Validation loss decreased (inf --> 10906.542969).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 9.14 .. Rec_loss: 12250.76 .. NELBO: 12259.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.46 .. Rec_loss: 5434.03 .. NELBO: 5434.49
****************************************************************************************************
Validation loss decreased (10906.542969 --> 10868.978516).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.65 .. Rec_loss: 12215.37 .. NELBO: 12216.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5413.07 .. NELBO: 5413.15
****************************************************************************************************
Validation loss decreased (10868.978516 --> 10826.294922).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12150.48 .. NELBO: 12150.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5382.18 .. NELBO: 5382.21
****************************************************************************************************
Validation loss decreased (10826.294922 --> 10764.412109).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12058.1 .. NELBO: 12058.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.21 .. NELBO: 5346.23
****************************************************************************************************
Validation loss decreased (10764.412109 --> 10692.469727).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11951.65 .. NELBO: 11951.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5314.95 .. NELBO: 5314.97
****************************************************************************************************
Validation loss decreased (10692.469727 --> 10629.936523).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11854.25 .. NELBO: 11854.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.74 .. NELBO: 5300.76
****************************************************************************************************
Validation loss decreased (10629.936523 --> 10601.512695).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.66 .. NELBO: 11793.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5309.84 .. NELBO: 5309.86
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11779.71 .. NELBO: 11779.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5332.7 .. NELBO: 5332.72
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11791.71 .. NELBO: 11791.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.23 .. NELBO: 5350.25
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.39 .. NELBO: 11796.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.94 .. NELBO: 5353.96
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11786.43 .. NELBO: 11786.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5348.58 .. NELBO: 5348.6
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.04922492985587084, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=94, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=94, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=94, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 93.96 .. Rec_loss: 12264.45 .. NELBO: 12358.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.33 .. Rec_loss: 5444.55 .. NELBO: 5452.88
****************************************************************************************************
Validation loss decreased (inf --> 10905.757812).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.95 .. Rec_loss: 12250.34 .. NELBO: 12259.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.44 .. Rec_loss: 5433.33 .. NELBO: 5433.77
****************************************************************************************************
Validation loss decreased (10905.757812 --> 10867.533203).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.64 .. Rec_loss: 12213.3 .. NELBO: 12213.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5411.58 .. NELBO: 5411.66
****************************************************************************************************
Validation loss decreased (10867.533203 --> 10823.327148).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 12146.23 .. NELBO: 12146.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5380.0 .. NELBO: 5380.03
****************************************************************************************************
Validation loss decreased (10823.327148 --> 10760.054688).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 12051.92 .. NELBO: 12051.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5343.77 .. NELBO: 5343.79
****************************************************************************************************
Validation loss decreased (10760.054688 --> 10687.586914).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11945.18 .. NELBO: 11945.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.12 .. NELBO: 5313.14
****************************************************************************************************
Validation loss decreased (10687.586914 --> 10626.279297).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11849.72 .. NELBO: 11849.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.41 .. NELBO: 5300.43
****************************************************************************************************
Validation loss decreased (10626.279297 --> 10600.855469).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.08 .. NELBO: 11792.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.03 .. NELBO: 5311.05
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.27 .. NELBO: 11780.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5334.11 .. NELBO: 5334.13
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11791.99 .. NELBO: 11792.03
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.78 .. NELBO: 5350.8
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.37 .. NELBO: 11796.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.65 .. NELBO: 5353.67
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11785.53 .. NELBO: 11785.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.98 .. NELBO: 5348.0
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  189
model: ETM(
  (t_drop): Dropout(p=0.05660542375183336, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=92, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=92, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=92, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 104.23 .. Rec_loss: 12264.53 .. NELBO: 12368.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.59 .. Rec_loss: 5444.14 .. NELBO: 5452.73
****************************************************************************************************
Validation loss decreased (inf --> 10905.461914).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 9.38 .. Rec_loss: 12248.8 .. NELBO: 12258.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.54 .. Rec_loss: 5432.32 .. NELBO: 5432.86
****************************************************************************************************
Validation loss decreased (10905.461914 --> 10865.726562).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.78 .. Rec_loss: 12210.09 .. NELBO: 12210.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5409.64 .. NELBO: 5409.73
****************************************************************************************************
Validation loss decreased (10865.726562 --> 10819.458008).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 12140.57 .. NELBO: 12140.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5377.25 .. NELBO: 5377.28
****************************************************************************************************
Validation loss decreased (10819.458008 --> 10754.555664).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 12044.66 .. NELBO: 12044.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5340.86 .. NELBO: 5340.88
****************************************************************************************************
Validation loss decreased (10754.555664 --> 10681.769531).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11937.24 .. NELBO: 11937.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.06 .. NELBO: 5311.08
****************************************************************************************************
Validation loss decreased (10681.769531 --> 10622.152344).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11843.51 .. NELBO: 11843.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.1 .. NELBO: 5300.12
****************************************************************************************************
Validation loss decreased (10622.152344 --> 10600.231445).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11789.79 .. NELBO: 11789.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.33 .. NELBO: 5312.35
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.87 .. NELBO: 11780.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.68 .. NELBO: 5335.7
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.17 .. NELBO: 11793.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.46 .. NELBO: 5351.48
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.14 .. NELBO: 11796.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.45 .. NELBO: 5353.47
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11784.57 .. NELBO: 11784.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.43 .. NELBO: 5347.45
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05660542375183336, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=92, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=92, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=92, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 94.6 .. Rec_loss: 12264.45 .. NELBO: 12359.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.24 .. Rec_loss: 5444.32 .. NELBO: 5452.56
****************************************************************************************************
Validation loss decreased (inf --> 10905.117188).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.88 .. Rec_loss: 12249.66 .. NELBO: 12258.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.44 .. Rec_loss: 5433.02 .. NELBO: 5433.46
****************************************************************************************************
Validation loss decreased (10905.117188 --> 10866.920898).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.64 .. Rec_loss: 12212.19 .. NELBO: 12212.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5410.93 .. NELBO: 5411.01
****************************************************************************************************
Validation loss decreased (10866.920898 --> 10822.010742).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12144.11 .. NELBO: 12144.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5378.92 .. NELBO: 5378.95
****************************************************************************************************
Validation loss decreased (10822.010742 --> 10757.907227).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12048.94 .. NELBO: 12048.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5342.51 .. NELBO: 5342.53
****************************************************************************************************
Validation loss decreased (10757.907227 --> 10685.057617).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11940.75 .. NELBO: 11940.79
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.17 .. NELBO: 5312.19
****************************************************************************************************
Validation loss decreased (10685.057617 --> 10624.375000).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11846.21 .. NELBO: 11846.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.29 .. NELBO: 5300.31
****************************************************************************************************
Validation loss decreased (10624.375000 --> 10600.625000).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11789.9 .. NELBO: 11789.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.76 .. NELBO: 5311.78
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.09 .. NELBO: 11780.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.06 .. NELBO: 5335.08
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.5 .. NELBO: 11792.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.4 .. NELBO: 5351.42
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.32 .. NELBO: 11796.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.86 .. NELBO: 5353.88
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11785.15 .. NELBO: 11785.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.99 .. NELBO: 5348.01
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05660542375183336, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=92, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=92, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=92, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 81.42 .. Rec_loss: 12264.24 .. NELBO: 12345.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.27 .. Rec_loss: 5444.24 .. NELBO: 5451.51
****************************************************************************************************
Validation loss decreased (inf --> 10903.023438).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.88 .. Rec_loss: 12249.22 .. NELBO: 12257.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.41 .. Rec_loss: 5432.46 .. NELBO: 5432.87
****************************************************************************************************
Validation loss decreased (10903.023438 --> 10865.737305).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.58 .. Rec_loss: 12210.47 .. NELBO: 12211.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5410.08 .. NELBO: 5410.15
****************************************************************************************************
Validation loss decreased (10865.737305 --> 10820.307617).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12141.29 .. NELBO: 12141.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5378.08 .. NELBO: 5378.11
****************************************************************************************************
Validation loss decreased (10820.307617 --> 10756.218750).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12046.26 .. NELBO: 12046.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5341.96 .. NELBO: 5341.98
****************************************************************************************************
Validation loss decreased (10756.218750 --> 10683.955078).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11939.67 .. NELBO: 11939.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.06 .. NELBO: 5312.08
****************************************************************************************************
Validation loss decreased (10683.955078 --> 10624.151367).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11845.59 .. NELBO: 11845.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.56 .. NELBO: 5300.58
****************************************************************************************************
Validation loss decreased (10624.151367 --> 10601.152344).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11790.1 .. NELBO: 11790.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.06 .. NELBO: 5312.08
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.72 .. NELBO: 11780.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5334.98 .. NELBO: 5335.0
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.6 .. NELBO: 11792.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.83 .. NELBO: 5350.85
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.6 .. NELBO: 11795.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.18 .. NELBO: 5353.2
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11784.79 .. NELBO: 11784.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.45 .. NELBO: 5347.47
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  190
model: ETM(
  (t_drop): Dropout(p=0.026212324303325155, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=98, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=98, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=98, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 89.01 .. Rec_loss: 12264.45 .. NELBO: 12353.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.19 .. Rec_loss: 5444.59 .. NELBO: 5452.78
****************************************************************************************************
Validation loss decreased (inf --> 10905.551758).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.81 .. Rec_loss: 12249.78 .. NELBO: 12258.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.41 .. Rec_loss: 5432.97 .. NELBO: 5433.38
****************************************************************************************************
Validation loss decreased (10905.551758 --> 10866.757812).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.57 .. Rec_loss: 12211.67 .. NELBO: 12212.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5410.71 .. NELBO: 5410.78
****************************************************************************************************
Validation loss decreased (10866.757812 --> 10821.562500).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12142.97 .. NELBO: 12143.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5378.65 .. NELBO: 5378.68
****************************************************************************************************
Validation loss decreased (10821.562500 --> 10757.365234).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12047.81 .. NELBO: 12047.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5342.32 .. NELBO: 5342.34
****************************************************************************************************
Validation loss decreased (10757.365234 --> 10684.690430).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11940.24 .. NELBO: 11940.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.25 .. NELBO: 5312.27
****************************************************************************************************
Validation loss decreased (10684.690430 --> 10624.532227).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11845.62 .. NELBO: 11845.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.76 .. NELBO: 5300.78
****************************************************************************************************
Validation loss decreased (10624.532227 --> 10601.567383).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11790.57 .. NELBO: 11790.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.47 .. NELBO: 5312.49
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.09 .. NELBO: 11781.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.57 .. NELBO: 5335.59
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.23 .. NELBO: 11793.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.3 .. NELBO: 5351.32
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.05 .. NELBO: 11796.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.28 .. NELBO: 5353.3
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11785.13 .. NELBO: 11785.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.22 .. NELBO: 5347.24
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.026212324303325155, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=98, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=98, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=98, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 96.31 .. Rec_loss: 12264.01 .. NELBO: 12360.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.95 .. Rec_loss: 5443.97 .. NELBO: 5451.92
****************************************************************************************************
Validation loss decreased (inf --> 10903.835938).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.57 .. Rec_loss: 12248.18 .. NELBO: 12256.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.53 .. Rec_loss: 5432.1 .. NELBO: 5432.63
****************************************************************************************************
Validation loss decreased (10903.835938 --> 10865.267578).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.76 .. Rec_loss: 12209.11 .. NELBO: 12209.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5409.47 .. NELBO: 5409.56
****************************************************************************************************
Validation loss decreased (10865.267578 --> 10819.111328).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 12139.63 .. NELBO: 12139.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5377.28 .. NELBO: 5377.31
****************************************************************************************************
Validation loss decreased (10819.111328 --> 10754.618164).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12043.83 .. NELBO: 12043.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5341.11 .. NELBO: 5341.13
****************************************************************************************************
Validation loss decreased (10754.618164 --> 10682.259766).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11936.57 .. NELBO: 11936.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.44 .. NELBO: 5311.46
****************************************************************************************************
Validation loss decreased (10682.259766 --> 10622.916016).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11843.0 .. NELBO: 11843.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.57 .. NELBO: 5300.59
****************************************************************************************************
Validation loss decreased (10622.916016 --> 10601.174805).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11788.84 .. NELBO: 11788.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.87 .. NELBO: 5312.89
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.57 .. NELBO: 11780.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.16 .. NELBO: 5336.18
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.23 .. NELBO: 11793.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.71 .. NELBO: 5351.73
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.0 .. NELBO: 11796.03
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.45 .. NELBO: 5353.47
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11784.56 .. NELBO: 11784.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.32 .. NELBO: 5347.34
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.026212324303325155, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=98, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=98, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=98, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 94.85 .. Rec_loss: 12264.37 .. NELBO: 12359.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.09 .. Rec_loss: 5444.4 .. NELBO: 5452.49
****************************************************************************************************
Validation loss decreased (inf --> 10904.979492).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.7 .. Rec_loss: 12249.49 .. NELBO: 12258.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.46 .. Rec_loss: 5432.68 .. NELBO: 5433.14
****************************************************************************************************
Validation loss decreased (10904.979492 --> 10866.294922).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.66 .. Rec_loss: 12211.21 .. NELBO: 12211.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5410.43 .. NELBO: 5410.51
****************************************************************************************************
Validation loss decreased (10866.294922 --> 10821.017578).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 12143.52 .. NELBO: 12143.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5378.29 .. NELBO: 5378.32
****************************************************************************************************
Validation loss decreased (10821.017578 --> 10756.642578).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 12047.66 .. NELBO: 12047.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5341.85 .. NELBO: 5341.87
****************************************************************************************************
Validation loss decreased (10756.642578 --> 10683.756836).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11940.08 .. NELBO: 11940.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.67 .. NELBO: 5311.69
****************************************************************************************************
Validation loss decreased (10683.756836 --> 10623.379883).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11845.47 .. NELBO: 11845.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.18 .. NELBO: 5300.2
****************************************************************************************************
Validation loss decreased (10623.379883 --> 10600.394531).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11789.95 .. NELBO: 11789.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.1 .. NELBO: 5312.12
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.96 .. NELBO: 11781.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.52 .. NELBO: 5335.54
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11792.96 .. NELBO: 11793.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.53 .. NELBO: 5351.55
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11796.83 .. NELBO: 11796.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.61 .. NELBO: 5353.63
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11784.94 .. NELBO: 11784.98
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.59 .. NELBO: 5347.61
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  191
model: ETM(
  (t_drop): Dropout(p=0.06402412488516619, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=78, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=78, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=78, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 88.88 .. Rec_loss: 12264.09 .. NELBO: 12352.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.17 .. Rec_loss: 5443.72 .. NELBO: 5451.89
****************************************************************************************************
Validation loss decreased (inf --> 10903.790039).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.85 .. Rec_loss: 12247.12 .. NELBO: 12255.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 5430.81 .. NELBO: 5431.24
****************************************************************************************************
Validation loss decreased (10903.790039 --> 10862.474609).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.61 .. Rec_loss: 12205.32 .. NELBO: 12205.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5407.06 .. NELBO: 5407.14
****************************************************************************************************
Validation loss decreased (10862.474609 --> 10814.280273).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12132.61 .. NELBO: 12132.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5373.95 .. NELBO: 5373.98
****************************************************************************************************
Validation loss decreased (10814.280273 --> 10747.955078).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12034.87 .. NELBO: 12034.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.68 .. NELBO: 5337.7
****************************************************************************************************
Validation loss decreased (10747.955078 --> 10675.410156).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11927.39 .. NELBO: 11927.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5309.24 .. NELBO: 5309.26
****************************************************************************************************
Validation loss decreased (10675.410156 --> 10618.524414).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11836.36 .. NELBO: 11836.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.59 .. NELBO: 5300.61
****************************************************************************************************
Validation loss decreased (10618.524414 --> 10601.212891).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11787.42 .. NELBO: 11787.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5314.6 .. NELBO: 5314.62
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11782.14 .. NELBO: 11782.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.72 .. NELBO: 5337.74
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11794.06 .. NELBO: 11794.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.93 .. NELBO: 5351.95
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.45 .. NELBO: 11795.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.68 .. NELBO: 5352.7
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11782.87 .. NELBO: 11782.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.33 .. NELBO: 5346.35
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06402412488516619, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=78, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=78, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=78, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 76.91 .. Rec_loss: 12264.2 .. NELBO: 12341.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.68 .. Rec_loss: 5444.08 .. NELBO: 5451.76
****************************************************************************************************
Validation loss decreased (inf --> 10903.519531).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.33 .. Rec_loss: 12248.59 .. NELBO: 12256.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.35 .. Rec_loss: 5431.97 .. NELBO: 5432.32
****************************************************************************************************
Validation loss decreased (10903.519531 --> 10864.646484).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.5 .. Rec_loss: 12208.47 .. NELBO: 12208.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5408.6 .. NELBO: 5408.66
****************************************************************************************************
Validation loss decreased (10864.646484 --> 10817.332031).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12136.54 .. NELBO: 12136.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5375.52 .. NELBO: 5375.55
****************************************************************************************************
Validation loss decreased (10817.332031 --> 10751.088867).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12038.82 .. NELBO: 12038.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5338.93 .. NELBO: 5338.95
****************************************************************************************************
Validation loss decreased (10751.088867 --> 10677.890625).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11930.5 .. NELBO: 11930.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5309.84 .. NELBO: 5309.86
****************************************************************************************************
Validation loss decreased (10677.890625 --> 10619.722656).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11837.57 .. NELBO: 11837.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.49 .. NELBO: 5300.51
****************************************************************************************************
Validation loss decreased (10619.722656 --> 10601.013672).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11787.55 .. NELBO: 11787.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5314.12 .. NELBO: 5314.14
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.92 .. NELBO: 11781.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.35 .. NELBO: 5337.37
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11794.14 .. NELBO: 11794.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.9 .. NELBO: 5351.92
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.61 .. NELBO: 11795.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.84 .. NELBO: 5352.86
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11783.15 .. NELBO: 11783.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.51 .. NELBO: 5346.53
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06402412488516619, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=78, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=78, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=78, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 90.52 .. Rec_loss: 12263.97 .. NELBO: 12354.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.87 .. Rec_loss: 5443.86 .. NELBO: 5451.73
****************************************************************************************************
Validation loss decreased (inf --> 10903.450195).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.43 .. Rec_loss: 12247.97 .. NELBO: 12256.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.43 .. Rec_loss: 5431.69 .. NELBO: 5432.12
****************************************************************************************************
Validation loss decreased (10903.450195 --> 10864.233398).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.63 .. Rec_loss: 12207.79 .. NELBO: 12208.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5408.63 .. NELBO: 5408.71
****************************************************************************************************
Validation loss decreased (10864.233398 --> 10817.435547).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 12137.35 .. NELBO: 12137.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5375.89 .. NELBO: 5375.92
****************************************************************************************************
Validation loss decreased (10817.435547 --> 10751.836914).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12039.9 .. NELBO: 12039.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5339.46 .. NELBO: 5339.48
****************************************************************************************************
Validation loss decreased (10751.836914 --> 10678.957031).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11932.04 .. NELBO: 11932.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.24 .. NELBO: 5310.26
****************************************************************************************************
Validation loss decreased (10678.957031 --> 10620.505859).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11839.32 .. NELBO: 11839.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.5 .. NELBO: 5300.52
****************************************************************************************************
Validation loss decreased (10620.505859 --> 10601.025391).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11787.42 .. NELBO: 11787.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.89 .. NELBO: 5313.91
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.32 .. NELBO: 11781.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.31 .. NELBO: 5337.33
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11794.12 .. NELBO: 11794.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.18 .. NELBO: 5352.2
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.9 .. NELBO: 11795.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.29 .. NELBO: 5353.31
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11783.83 .. NELBO: 11783.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.92 .. NELBO: 5346.94
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  192
model: ETM(
  (t_drop): Dropout(p=0.057137733846997996, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=60, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=60, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=60, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 79.38 .. Rec_loss: 12263.9 .. NELBO: 12343.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.05 .. Rec_loss: 5443.68 .. NELBO: 5451.73
****************************************************************************************************
Validation loss decreased (inf --> 10903.445312).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.63 .. Rec_loss: 12247.53 .. NELBO: 12256.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.42 .. Rec_loss: 5431.29 .. NELBO: 5431.71
****************************************************************************************************
Validation loss decreased (10903.445312 --> 10863.424805).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.6 .. Rec_loss: 12207.16 .. NELBO: 12207.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5407.93 .. NELBO: 5408.0
****************************************************************************************************
Validation loss decreased (10863.424805 --> 10816.007812).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12135.18 .. NELBO: 12135.29
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5375.09 .. NELBO: 5375.11
****************************************************************************************************
Validation loss decreased (10816.007812 --> 10750.220703).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12038.24 .. NELBO: 12038.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5338.74 .. NELBO: 5338.75
****************************************************************************************************
Validation loss decreased (10750.220703 --> 10677.506836).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11931.03 .. NELBO: 11931.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5309.71 .. NELBO: 5309.72
****************************************************************************************************
Validation loss decreased (10677.506836 --> 10619.438477).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11838.85 .. NELBO: 11838.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.16 .. NELBO: 5300.17
****************************************************************************************************
Validation loss decreased (10619.438477 --> 10600.339844).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11787.24 .. NELBO: 11787.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.65 .. NELBO: 5313.67
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.2 .. NELBO: 11781.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.1 .. NELBO: 5337.12
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11793.31 .. NELBO: 11793.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.06 .. NELBO: 5352.08
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.19 .. NELBO: 11796.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.28 .. NELBO: 5353.3
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11783.33 .. NELBO: 11783.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5347.03 .. NELBO: 5347.04
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.057137733846997996, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=60, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=60, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=60, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 74.3 .. Rec_loss: 12263.98 .. NELBO: 12338.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.25 .. Rec_loss: 5443.65 .. NELBO: 5450.9
****************************************************************************************************
Validation loss decreased (inf --> 10901.801758).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.94 .. Rec_loss: 12247.41 .. NELBO: 12255.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.48 .. Rec_loss: 5431.57 .. NELBO: 5432.05
****************************************************************************************************
Validation loss decreased (10901.801758 --> 10864.097656).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.69 .. Rec_loss: 12208.51 .. NELBO: 12209.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5408.7 .. NELBO: 5408.78
****************************************************************************************************
Validation loss decreased (10864.097656 --> 10817.573242).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12138.02 .. NELBO: 12138.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5376.4 .. NELBO: 5376.42
****************************************************************************************************
Validation loss decreased (10817.573242 --> 10752.852539).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12043.18 .. NELBO: 12043.22
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5340.32 .. NELBO: 5340.34
****************************************************************************************************
Validation loss decreased (10752.852539 --> 10680.664062).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11935.92 .. NELBO: 11935.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.85 .. NELBO: 5310.87
****************************************************************************************************
Validation loss decreased (10680.664062 --> 10621.725586).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11842.67 .. NELBO: 11842.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.07 .. NELBO: 5300.09
****************************************************************************************************
Validation loss decreased (10621.725586 --> 10600.181641).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11789.51 .. NELBO: 11789.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.27 .. NELBO: 5312.29
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11781.29 .. NELBO: 11781.32
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.43 .. NELBO: 5335.45
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.78 .. NELBO: 11792.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.09 .. NELBO: 5351.11
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.33 .. NELBO: 11795.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.1 .. NELBO: 5353.12
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11784.18 .. NELBO: 11784.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.19 .. NELBO: 5347.21
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.057137733846997996, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=60, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=60, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=60, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 67.77 .. Rec_loss: 12264.15 .. NELBO: 12331.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 6.63 .. Rec_loss: 5443.79 .. NELBO: 5450.42
****************************************************************************************************
Validation loss decreased (inf --> 10900.842773).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.24 .. Rec_loss: 12247.85 .. NELBO: 12255.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.37 .. Rec_loss: 5431.83 .. NELBO: 5432.2
****************************************************************************************************
Validation loss decreased (10900.842773 --> 10864.408203).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.53 .. Rec_loss: 12209.16 .. NELBO: 12209.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5409.43 .. NELBO: 5409.49
****************************************************************************************************
Validation loss decreased (10864.408203 --> 10818.972656).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 12141.02 .. NELBO: 12141.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5377.66 .. NELBO: 5377.68
****************************************************************************************************
Validation loss decreased (10818.972656 --> 10755.365234).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12046.61 .. NELBO: 12046.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5341.81 .. NELBO: 5341.82
****************************************************************************************************
Validation loss decreased (10755.365234 --> 10683.654297).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11940.56 .. NELBO: 11940.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5311.83 .. NELBO: 5311.84
****************************************************************************************************
Validation loss decreased (10683.654297 --> 10623.693359).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11846.33 .. NELBO: 11846.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5299.82 .. NELBO: 5299.83
****************************************************************************************************
Validation loss decreased (10623.693359 --> 10599.666016).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11790.67 .. NELBO: 11790.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5310.85 .. NELBO: 5310.86
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11780.23 .. NELBO: 11780.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5333.95 .. NELBO: 5333.96
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11791.87 .. NELBO: 11791.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5350.5 .. NELBO: 5350.51
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.22 .. NELBO: 11796.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.34 .. NELBO: 5353.35
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11785.23 .. NELBO: 11785.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5347.78 .. NELBO: 5347.79
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  193
model: ETM(
  (t_drop): Dropout(p=0.05644544163371079, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=85, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=85, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=85, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 78.05 .. Rec_loss: 12264.01 .. NELBO: 12342.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.2 .. Rec_loss: 5443.82 .. NELBO: 5451.02
****************************************************************************************************
Validation loss decreased (inf --> 10902.037109).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.85 .. Rec_loss: 12247.79 .. NELBO: 12255.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.39 .. Rec_loss: 5431.51 .. NELBO: 5431.9
****************************************************************************************************
Validation loss decreased (10902.037109 --> 10863.799805).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.56 .. Rec_loss: 12207.02 .. NELBO: 12207.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5408.04 .. NELBO: 5408.11
****************************************************************************************************
Validation loss decreased (10863.799805 --> 10816.222656).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12135.13 .. NELBO: 12135.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5375.04 .. NELBO: 5375.07
****************************************************************************************************
Validation loss decreased (10816.222656 --> 10750.137695).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12036.82 .. NELBO: 12036.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5338.69 .. NELBO: 5338.71
****************************************************************************************************
Validation loss decreased (10750.137695 --> 10677.426758).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11929.93 .. NELBO: 11929.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5309.93 .. NELBO: 5309.95
****************************************************************************************************
Validation loss decreased (10677.426758 --> 10619.900391).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11837.89 .. NELBO: 11837.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.81 .. NELBO: 5300.83
****************************************************************************************************
Validation loss decreased (10619.900391 --> 10601.664062).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11787.79 .. NELBO: 11787.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5314.47 .. NELBO: 5314.49
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.89 .. NELBO: 11781.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.59 .. NELBO: 5337.61
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11794.41 .. NELBO: 11794.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.06 .. NELBO: 5352.08
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.24 .. NELBO: 11796.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.98 .. NELBO: 5353.0
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11783.74 .. NELBO: 11783.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.57 .. NELBO: 5346.59
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05644544163371079, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=85, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=85, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=85, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 84.76 .. Rec_loss: 12264.04 .. NELBO: 12348.8
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.9 .. Rec_loss: 5443.91 .. NELBO: 5451.81
****************************************************************************************************
Validation loss decreased (inf --> 10903.617188).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.55 .. Rec_loss: 12247.95 .. NELBO: 12256.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.42 .. Rec_loss: 5431.59 .. NELBO: 5432.01
****************************************************************************************************
Validation loss decreased (10903.617188 --> 10864.017578).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.61 .. Rec_loss: 12207.85 .. NELBO: 12208.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5408.4 .. NELBO: 5408.48
****************************************************************************************************
Validation loss decreased (10864.017578 --> 10816.955078).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 12136.32 .. NELBO: 12136.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5375.41 .. NELBO: 5375.44
****************************************************************************************************
Validation loss decreased (10816.955078 --> 10750.882812).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 12038.71 .. NELBO: 12038.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5338.8 .. NELBO: 5338.82
****************************************************************************************************
Validation loss decreased (10750.882812 --> 10677.643555).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11930.18 .. NELBO: 11930.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5309.68 .. NELBO: 5309.7
****************************************************************************************************
Validation loss decreased (10677.643555 --> 10619.410156).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11837.95 .. NELBO: 11837.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.42 .. NELBO: 5300.44
****************************************************************************************************
Validation loss decreased (10619.410156 --> 10600.890625).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11787.14 .. NELBO: 11787.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5314.33 .. NELBO: 5314.35
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.91 .. NELBO: 11781.95
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.8 .. NELBO: 5337.82
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11794.45 .. NELBO: 11794.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.38 .. NELBO: 5352.4
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.45 .. NELBO: 11795.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.21 .. NELBO: 5353.23
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11782.72 .. NELBO: 11782.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.75 .. NELBO: 5346.77
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.05644544163371079, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=85, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=85, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=85, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 82.67 .. Rec_loss: 12264.63 .. NELBO: 12347.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.48 .. Rec_loss: 5444.4 .. NELBO: 5451.88
****************************************************************************************************
Validation loss decreased (inf --> 10903.746094).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.24 .. Rec_loss: 12250.0 .. NELBO: 12258.24
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 5432.69 .. NELBO: 5433.14
****************************************************************************************************
Validation loss decreased (10903.746094 --> 10866.278320).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.63 .. Rec_loss: 12211.77 .. NELBO: 12212.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5410.15 .. NELBO: 5410.22
****************************************************************************************************
Validation loss decreased (10866.278320 --> 10820.434570).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12142.77 .. NELBO: 12142.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5377.74 .. NELBO: 5377.77
****************************************************************************************************
Validation loss decreased (10820.434570 --> 10755.537109).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12046.88 .. NELBO: 12046.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5341.22 .. NELBO: 5341.24
****************************************************************************************************
Validation loss decreased (10755.537109 --> 10682.476562).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11938.23 .. NELBO: 11938.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.26 .. NELBO: 5311.28
****************************************************************************************************
Validation loss decreased (10682.476562 --> 10622.552734).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11844.86 .. NELBO: 11844.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.18 .. NELBO: 5300.2
****************************************************************************************************
Validation loss decreased (10622.552734 --> 10600.401367).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11790.56 .. NELBO: 11790.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.32 .. NELBO: 5312.34
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.72 .. NELBO: 11781.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.52 .. NELBO: 5335.54
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.44 .. NELBO: 11793.48
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.18 .. NELBO: 5351.2
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.81 .. NELBO: 11795.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.15 .. NELBO: 5353.17
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11784.26 .. NELBO: 11784.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.23 .. NELBO: 5347.25
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  194
model: ETM(
  (t_drop): Dropout(p=0.061684414705814726, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=70, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=70, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=70, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 78.52 .. Rec_loss: 12263.91 .. NELBO: 12342.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.75 .. Rec_loss: 5443.54 .. NELBO: 5451.29
****************************************************************************************************
Validation loss decreased (inf --> 10902.577148).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.37 .. Rec_loss: 12246.91 .. NELBO: 12255.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.41 .. Rec_loss: 5431.15 .. NELBO: 5431.56
****************************************************************************************************
Validation loss decreased (10902.577148 --> 10863.120117).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.58 .. Rec_loss: 12206.1 .. NELBO: 12206.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5407.7 .. NELBO: 5407.77
****************************************************************************************************
Validation loss decreased (10863.120117 --> 10815.541016).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 12134.8 .. NELBO: 12134.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5374.72 .. NELBO: 5374.74
****************************************************************************************************
Validation loss decreased (10815.541016 --> 10749.486328).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12037.17 .. NELBO: 12037.21
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5338.36 .. NELBO: 5338.38
****************************************************************************************************
Validation loss decreased (10749.486328 --> 10676.746094).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11930.07 .. NELBO: 11930.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5309.55 .. NELBO: 5309.57
****************************************************************************************************
Validation loss decreased (10676.746094 --> 10619.139648).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11837.72 .. NELBO: 11837.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.36 .. NELBO: 5300.38
****************************************************************************************************
Validation loss decreased (10619.139648 --> 10600.756836).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11787.96 .. NELBO: 11787.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.94 .. NELBO: 5313.96
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11782.44 .. NELBO: 11782.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.97 .. NELBO: 5336.99
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11794.09 .. NELBO: 11794.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.39 .. NELBO: 5351.41
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.14 .. NELBO: 11795.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.41 .. NELBO: 5352.43
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11783.31 .. NELBO: 11783.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5346.24 .. NELBO: 5346.25
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.061684414705814726, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=70, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=70, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=70, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 85.8 .. Rec_loss: 12264.38 .. NELBO: 12350.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.85 .. Rec_loss: 5444.09 .. NELBO: 5451.94
****************************************************************************************************
Validation loss decreased (inf --> 10903.868164).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.4 .. Rec_loss: 12248.93 .. NELBO: 12257.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.38 .. Rec_loss: 5432.55 .. NELBO: 5432.93
****************************************************************************************************
Validation loss decreased (10903.868164 --> 10865.859375).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.55 .. Rec_loss: 12211.1 .. NELBO: 12211.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 5410.25 .. NELBO: 5410.31
****************************************************************************************************
Validation loss decreased (10865.859375 --> 10820.631836).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 12142.27 .. NELBO: 12142.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5378.3 .. NELBO: 5378.32
****************************************************************************************************
Validation loss decreased (10820.631836 --> 10756.647461).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 12047.54 .. NELBO: 12047.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5342.17 .. NELBO: 5342.18
****************************************************************************************************
Validation loss decreased (10756.647461 --> 10684.362305).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11940.72 .. NELBO: 11940.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5312.04 .. NELBO: 5312.05
****************************************************************************************************
Validation loss decreased (10684.362305 --> 10624.107422).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11846.46 .. NELBO: 11846.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.06 .. NELBO: 5300.07
****************************************************************************************************
Validation loss decreased (10624.107422 --> 10600.136719).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11790.6 .. NELBO: 11790.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5311.13 .. NELBO: 5311.14
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11780.33 .. NELBO: 11780.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5334.15 .. NELBO: 5334.16
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11792.31 .. NELBO: 11792.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5350.5 .. NELBO: 5350.51
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11795.94 .. NELBO: 11795.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5353.2 .. NELBO: 5353.21
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11785.07 .. NELBO: 11785.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5347.58 .. NELBO: 5347.59
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.061684414705814726, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=70, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=70, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=70, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 77.55 .. Rec_loss: 12264.26 .. NELBO: 12341.81
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.65 .. Rec_loss: 5444.42 .. NELBO: 5452.07
****************************************************************************************************
Validation loss decreased (inf --> 10904.142578).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.21 .. Rec_loss: 12249.97 .. NELBO: 12258.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.31 .. Rec_loss: 5433.27 .. NELBO: 5433.58
****************************************************************************************************
Validation loss decreased (10904.142578 --> 10867.146484).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.44 .. Rec_loss: 12213.29 .. NELBO: 12213.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5411.34 .. NELBO: 5411.39
****************************************************************************************************
Validation loss decreased (10867.146484 --> 10822.772461).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 12145.36 .. NELBO: 12145.43
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5379.38 .. NELBO: 5379.4
****************************************************************************************************
Validation loss decreased (10822.772461 --> 10758.799805).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 12050.09 .. NELBO: 12050.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5342.84 .. NELBO: 5342.85
****************************************************************************************************
Validation loss decreased (10758.799805 --> 10685.704102).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11942.25 .. NELBO: 11942.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5312.16 .. NELBO: 5312.17
****************************************************************************************************
Validation loss decreased (10685.704102 --> 10624.344727).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11845.5 .. NELBO: 11845.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5300.08 .. NELBO: 5300.09
****************************************************************************************************
Validation loss decreased (10624.344727 --> 10600.189453).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11789.5 .. NELBO: 11789.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5311.79 .. NELBO: 5311.8
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11779.74 .. NELBO: 11779.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5335.58 .. NELBO: 5335.59
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11793.16 .. NELBO: 11793.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5352.05 .. NELBO: 5352.06
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11796.7 .. NELBO: 11796.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5354.27 .. NELBO: 5354.28
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11785.01 .. NELBO: 11785.04
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 5348.12 .. NELBO: 5348.13
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  195
model: ETM(
  (t_drop): Dropout(p=0.06285724471994343, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=96, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=96, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=96, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 106.36 .. Rec_loss: 12264.57 .. NELBO: 12370.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.67 .. Rec_loss: 5444.57 .. NELBO: 5453.24
****************************************************************************************************
Validation loss decreased (inf --> 10906.470703).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 9.53 .. Rec_loss: 12250.12 .. NELBO: 12259.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.59 .. Rec_loss: 5433.36 .. NELBO: 5433.95
****************************************************************************************************
Validation loss decreased (10906.470703 --> 10867.887695).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.84 .. Rec_loss: 12213.04 .. NELBO: 12213.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 5411.72 .. NELBO: 5411.82
****************************************************************************************************
Validation loss decreased (10867.887695 --> 10823.634766).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.16 .. Rec_loss: 12146.37 .. NELBO: 12146.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 5380.24 .. NELBO: 5380.28
****************************************************************************************************
Validation loss decreased (10823.634766 --> 10760.565430).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 12052.54 .. NELBO: 12052.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5344.15 .. NELBO: 5344.18
****************************************************************************************************
Validation loss decreased (10760.565430 --> 10688.360352).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11945.82 .. NELBO: 11945.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5313.5 .. NELBO: 5313.53
****************************************************************************************************
Validation loss decreased (10688.360352 --> 10627.055664).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11850.07 .. NELBO: 11850.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5300.57 .. NELBO: 5300.6
****************************************************************************************************
Validation loss decreased (10627.055664 --> 10601.185547).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11791.97 .. NELBO: 11792.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5310.82 .. NELBO: 5310.85
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11780.31 .. NELBO: 11780.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5333.71 .. NELBO: 5333.74
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11791.46 .. NELBO: 11791.51
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5350.49 .. NELBO: 5350.52
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11796.04 .. NELBO: 11796.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5353.53 .. NELBO: 5353.56
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11785.7 .. NELBO: 11785.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.98 .. NELBO: 5348.0
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06285724471994343, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=96, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=96, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=96, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 92.98 .. Rec_loss: 12263.96 .. NELBO: 12356.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.56 .. Rec_loss: 5444.13 .. NELBO: 5452.69
****************************************************************************************************
Validation loss decreased (inf --> 10905.393555).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 9.36 .. Rec_loss: 12248.66 .. NELBO: 12258.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.48 .. Rec_loss: 5432.18 .. NELBO: 5432.66
****************************************************************************************************
Validation loss decreased (10905.393555 --> 10865.315430).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.67 .. Rec_loss: 12209.17 .. NELBO: 12209.84
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.07 .. Rec_loss: 5409.12 .. NELBO: 5409.19
****************************************************************************************************
Validation loss decreased (10865.315430 --> 10818.379883).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12138.27 .. NELBO: 12138.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5376.41 .. NELBO: 5376.44
****************************************************************************************************
Validation loss decreased (10818.379883 --> 10752.876953).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12041.21 .. NELBO: 12041.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5339.94 .. NELBO: 5339.96
****************************************************************************************************
Validation loss decreased (10752.876953 --> 10679.917969).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11933.14 .. NELBO: 11933.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.5 .. NELBO: 5310.52
****************************************************************************************************
Validation loss decreased (10679.917969 --> 10621.041016).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11839.67 .. NELBO: 11839.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.45 .. NELBO: 5300.47
****************************************************************************************************
Validation loss decreased (10621.041016 --> 10600.943359).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11787.14 .. NELBO: 11787.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.64 .. NELBO: 5313.66
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.71 .. NELBO: 11780.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.12 .. NELBO: 5337.14
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.71 .. NELBO: 11793.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.23 .. NELBO: 5352.25
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.96 .. NELBO: 11796.0
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.55 .. NELBO: 5353.57
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11784.31 .. NELBO: 11784.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.24 .. NELBO: 5347.26
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.06285724471994343, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=96, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=96, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=96, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 103.45 .. Rec_loss: 12264.43 .. NELBO: 12367.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.99 .. Rec_loss: 5444.56 .. NELBO: 5453.55
****************************************************************************************************
Validation loss decreased (inf --> 10907.096680).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 9.7 .. Rec_loss: 12250.53 .. NELBO: 12260.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.53 .. Rec_loss: 5433.59 .. NELBO: 5434.12
****************************************************************************************************
Validation loss decreased (10907.096680 --> 10868.239258).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.76 .. Rec_loss: 12214.44 .. NELBO: 12215.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5412.04 .. NELBO: 5412.13
****************************************************************************************************
Validation loss decreased (10868.239258 --> 10824.262695).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 12148.19 .. NELBO: 12148.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5380.69 .. NELBO: 5380.72
****************************************************************************************************
Validation loss decreased (10824.262695 --> 10761.446289).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 12054.65 .. NELBO: 12054.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5344.63 .. NELBO: 5344.65
****************************************************************************************************
Validation loss decreased (10761.446289 --> 10689.307617).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11948.09 .. NELBO: 11948.14
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.76 .. NELBO: 5313.78
****************************************************************************************************
Validation loss decreased (10689.307617 --> 10627.560547).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11852.24 .. NELBO: 11852.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.32 .. NELBO: 5300.34
****************************************************************************************************
Validation loss decreased (10627.560547 --> 10600.680664).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.19 .. NELBO: 11793.23
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.09 .. NELBO: 5310.11
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.13 .. NELBO: 11780.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5333.0 .. NELBO: 5333.02
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11791.95 .. NELBO: 11791.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.2 .. NELBO: 5350.22
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.38 .. NELBO: 11796.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.64 .. NELBO: 5353.66
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11786.34 .. NELBO: 11786.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5348.23 .. NELBO: 5348.25
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  196
model: ETM(
  (t_drop): Dropout(p=0.040715481114155065, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=88, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=88, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=88, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1303.78 .. Rec_loss: 12264.42 .. NELBO: 13568.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 27.9 .. Rec_loss: 5445.7 .. NELBO: 5473.6
****************************************************************************************************
Validation loss decreased (inf --> 10947.215820).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 36.3 .. Rec_loss: 12254.9 .. NELBO: 12291.2
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 10.42 .. Rec_loss: 5437.93 .. NELBO: 5448.35
****************************************************************************************************
Validation loss decreased (10947.215820 --> 10896.702148).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 21.57 .. Rec_loss: 12228.85 .. NELBO: 12250.42
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 9.3 .. Rec_loss: 5421.71 .. NELBO: 5431.01
****************************************************************************************************
Validation loss decreased (10896.702148 --> 10862.022461).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 17.2 .. Rec_loss: 12177.32 .. NELBO: 12194.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 5.51 .. Rec_loss: 5395.64 .. NELBO: 5401.15
****************************************************************************************************
Validation loss decreased (10862.022461 --> 10802.293945).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 10.17 .. Rec_loss: 12097.54 .. NELBO: 12107.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.24 .. Rec_loss: 5361.9 .. NELBO: 5365.14
****************************************************************************************************
Validation loss decreased (10802.293945 --> 10730.291992).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 6.14 .. Rec_loss: 11995.47 .. NELBO: 12001.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.16 .. Rec_loss: 5327.59 .. NELBO: 5329.75
****************************************************************************************************
Validation loss decreased (10730.291992 --> 10659.497070).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 4.25 .. Rec_loss: 11891.27 .. NELBO: 11895.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.62 .. Rec_loss: 5304.28 .. NELBO: 5305.9
****************************************************************************************************
Validation loss decreased (10659.497070 --> 10611.805664).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 3.19 .. Rec_loss: 11811.33 .. NELBO: 11814.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.26 .. Rec_loss: 5302.86 .. NELBO: 5304.12
****************************************************************************************************
Validation loss decreased (10611.805664 --> 10608.239258).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 2.5 .. Rec_loss: 11776.84 .. NELBO: 11779.34
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.94 .. Rec_loss: 5322.28 .. NELBO: 5323.22
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 1.84 .. Rec_loss: 11782.8 .. NELBO: 11784.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.65 .. Rec_loss: 5345.3 .. NELBO: 5345.95
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 1.22 .. Rec_loss: 11795.5 .. NELBO: 11796.72
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.44 .. Rec_loss: 5355.91 .. NELBO: 5356.35
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.86 .. Rec_loss: 11793.97 .. NELBO: 11794.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.3 .. Rec_loss: 5353.55 .. NELBO: 5353.85
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.59 .. Rec_loss: 11779.07 .. NELBO: 11779.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.21 .. Rec_loss: 5345.89 .. NELBO: 5346.1
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.040715481114155065, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=88, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=88, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=88, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 1428.02 .. Rec_loss: 12264.64 .. NELBO: 13692.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 24.11 .. Rec_loss: 5445.84 .. NELBO: 5469.95
****************************************************************************************************
Validation loss decreased (inf --> 10939.888672).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 27.98 .. Rec_loss: 12255.03 .. NELBO: 12283.01
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 4.34 .. Rec_loss: 5437.47 .. NELBO: 5441.81
****************************************************************************************************
Validation loss decreased (10939.888672 --> 10883.628906).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 8.37 .. Rec_loss: 12227.36 .. NELBO: 12235.73
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 3.04 .. Rec_loss: 5421.0 .. NELBO: 5424.04
****************************************************************************************************
Validation loss decreased (10883.628906 --> 10848.080078).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 5.36 .. Rec_loss: 12175.47 .. NELBO: 12180.83
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.49 .. Rec_loss: 5394.92 .. NELBO: 5396.41
****************************************************************************************************
Validation loss decreased (10848.080078 --> 10792.813477).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 2.6 .. Rec_loss: 12095.65 .. NELBO: 12098.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.73 .. Rec_loss: 5361.4 .. NELBO: 5362.13
****************************************************************************************************
Validation loss decreased (10792.813477 --> 10724.246094).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 1.26 .. Rec_loss: 11995.34 .. NELBO: 11996.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.35 .. Rec_loss: 5327.4 .. NELBO: 5327.75
****************************************************************************************************
Validation loss decreased (10724.246094 --> 10655.512695).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.63 .. Rec_loss: 11891.86 .. NELBO: 11892.49
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.17 .. Rec_loss: 5304.32 .. NELBO: 5304.49
****************************************************************************************************
Validation loss decreased (10655.512695 --> 10608.979492).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.31 .. Rec_loss: 11812.51 .. NELBO: 11812.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5302.81 .. NELBO: 5302.9
****************************************************************************************************
Validation loss decreased (10608.979492 --> 10605.798828).  Saving model ...
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.16 .. Rec_loss: 11777.48 .. NELBO: 11777.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5321.85 .. NELBO: 5321.9
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 11782.83 .. NELBO: 11782.93
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5344.63 .. NELBO: 5344.66
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11796.39 .. NELBO: 11796.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5355.29 .. NELBO: 5355.32
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11793.71 .. NELBO: 11793.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.16 .. NELBO: 5353.18
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11779.81 .. NELBO: 11779.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5345.75 .. NELBO: 5345.77
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.040715481114155065, inplace=False)
  (theta_act): Softplus(beta=1, threshold=20)
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=88, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Softplus(beta=1, threshold=20)
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Softplus(beta=1, threshold=20)
  )
  (mu_q_theta): Linear(in_features=800, out_features=88, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=88, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 928.38 .. Rec_loss: 12264.53 .. NELBO: 13192.91
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 19.22 .. Rec_loss: 5445.59 .. NELBO: 5464.81
****************************************************************************************************
Validation loss decreased (inf --> 10929.619141).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 21.24 .. Rec_loss: 12254.14 .. NELBO: 12275.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.36 .. Rec_loss: 5436.73 .. NELBO: 5439.09
****************************************************************************************************
Validation loss decreased (10929.619141 --> 10878.178711).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 4.93 .. Rec_loss: 12224.93 .. NELBO: 12229.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 2.03 .. Rec_loss: 5418.91 .. NELBO: 5420.94
****************************************************************************************************
Validation loss decreased (10878.178711 --> 10841.888672).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 3.76 .. Rec_loss: 12168.84 .. NELBO: 12172.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 1.39 .. Rec_loss: 5391.03 .. NELBO: 5392.42
****************************************************************************************************
Validation loss decreased (10841.888672 --> 10784.839844).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 2.65 .. Rec_loss: 12084.72 .. NELBO: 12087.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.93 .. Rec_loss: 5356.11 .. NELBO: 5357.04
****************************************************************************************************
Validation loss decreased (10784.839844 --> 10714.086914).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 1.78 .. Rec_loss: 11980.28 .. NELBO: 11982.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.66 .. Rec_loss: 5322.27 .. NELBO: 5322.93
****************************************************************************************************
Validation loss decreased (10714.086914 --> 10645.865234).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 1.26 .. Rec_loss: 11877.77 .. NELBO: 11879.03
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.42 .. Rec_loss: 5301.81 .. NELBO: 5302.23
****************************************************************************************************
Validation loss decreased (10645.865234 --> 10604.469727).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.73 .. Rec_loss: 11803.45 .. NELBO: 11804.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.2 .. Rec_loss: 5304.44 .. NELBO: 5304.64
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.35 .. Rec_loss: 11777.06 .. NELBO: 11777.41
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.1 .. Rec_loss: 5325.86 .. NELBO: 5325.96
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.18 .. Rec_loss: 11785.67 .. NELBO: 11785.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 5347.41 .. NELBO: 5347.46
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 11796.76 .. NELBO: 11796.85
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5355.51 .. NELBO: 5355.54
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11791.73 .. NELBO: 11791.78
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.88 .. NELBO: 5351.9
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  197
model: ETM(
  (t_drop): Dropout(p=0.04933986201070551, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=91, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=91, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=91, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 103.48 .. Rec_loss: 12263.79 .. NELBO: 12367.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.82 .. Rec_loss: 5444.17 .. NELBO: 5452.99
****************************************************************************************************
Validation loss decreased (inf --> 10905.981445).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 9.58 .. Rec_loss: 12249.54 .. NELBO: 12259.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.53 .. Rec_loss: 5433.05 .. NELBO: 5433.58
****************************************************************************************************
Validation loss decreased (10905.981445 --> 10867.156250).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.76 .. Rec_loss: 12212.27 .. NELBO: 12213.03
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.09 .. Rec_loss: 5411.14 .. NELBO: 5411.23
****************************************************************************************************
Validation loss decreased (10867.156250 --> 10822.458984).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.14 .. Rec_loss: 12144.85 .. NELBO: 12144.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5379.41 .. NELBO: 5379.44
****************************************************************************************************
Validation loss decreased (10822.458984 --> 10758.884766).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 12050.32 .. NELBO: 12050.38
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5343.14 .. NELBO: 5343.16
****************************************************************************************************
Validation loss decreased (10758.884766 --> 10686.321289).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11942.42 .. NELBO: 11942.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.61 .. NELBO: 5312.63
****************************************************************************************************
Validation loss decreased (10686.321289 --> 10625.258789).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11846.59 .. NELBO: 11846.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.3 .. NELBO: 5300.32
****************************************************************************************************
Validation loss decreased (10625.258789 --> 10600.651367).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11790.57 .. NELBO: 11790.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.41 .. NELBO: 5311.43
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11780.22 .. NELBO: 11780.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5334.68 .. NELBO: 5334.7
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11792.52 .. NELBO: 11792.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.17 .. NELBO: 5351.19
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11796.56 .. NELBO: 11796.61
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.76 .. NELBO: 5353.78
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11785.72 .. NELBO: 11785.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.91 .. NELBO: 5347.93
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.04933986201070551, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=91, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=91, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=91, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 88.37 .. Rec_loss: 12264.0 .. NELBO: 12352.37
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.92 .. Rec_loss: 5443.99 .. NELBO: 5451.91
****************************************************************************************************
Validation loss decreased (inf --> 10903.804688).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.69 .. Rec_loss: 12248.17 .. NELBO: 12256.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.49 .. Rec_loss: 5431.68 .. NELBO: 5432.17
****************************************************************************************************
Validation loss decreased (10903.804688 --> 10864.346680).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.69 .. Rec_loss: 12207.88 .. NELBO: 12208.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5408.77 .. NELBO: 5408.85
****************************************************************************************************
Validation loss decreased (10864.346680 --> 10817.696289).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12138.13 .. NELBO: 12138.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5376.34 .. NELBO: 5376.37
****************************************************************************************************
Validation loss decreased (10817.696289 --> 10752.732422).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 12041.71 .. NELBO: 12041.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5340.15 .. NELBO: 5340.17
****************************************************************************************************
Validation loss decreased (10752.732422 --> 10680.351562).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11934.92 .. NELBO: 11934.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.76 .. NELBO: 5310.78
****************************************************************************************************
Validation loss decreased (10680.351562 --> 10621.556641).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11841.49 .. NELBO: 11841.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.28 .. NELBO: 5300.3
****************************************************************************************************
Validation loss decreased (10621.556641 --> 10600.597656).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11788.64 .. NELBO: 11788.68
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.76 .. NELBO: 5312.78
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.9 .. NELBO: 11780.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.95 .. NELBO: 5335.97
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.23 .. NELBO: 11793.27
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.4 .. NELBO: 5351.42
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.73 .. NELBO: 11795.77
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.18 .. NELBO: 5353.2
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11784.27 .. NELBO: 11784.31
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.14 .. NELBO: 5347.16
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.04933986201070551, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=91, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=91, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=91, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 88.63 .. Rec_loss: 12264.02 .. NELBO: 12352.65
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.29 .. Rec_loss: 5443.99 .. NELBO: 5451.28
****************************************************************************************************
Validation loss decreased (inf --> 10902.548828).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 7.92 .. Rec_loss: 12248.23 .. NELBO: 12256.15
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 5431.97 .. NELBO: 5432.42
****************************************************************************************************
Validation loss decreased (10902.548828 --> 10864.852539).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.65 .. Rec_loss: 12208.52 .. NELBO: 12209.17
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5409.36 .. NELBO: 5409.44
****************************************************************************************************
Validation loss decreased (10864.852539 --> 10818.885742).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.13 .. Rec_loss: 12139.46 .. NELBO: 12139.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5377.2 .. NELBO: 5377.23
****************************************************************************************************
Validation loss decreased (10818.885742 --> 10754.452148).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12043.49 .. NELBO: 12043.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5341.09 .. NELBO: 5341.11
****************************************************************************************************
Validation loss decreased (10754.452148 --> 10682.218750).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11936.32 .. NELBO: 11936.36
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.45 .. NELBO: 5311.47
****************************************************************************************************
Validation loss decreased (10682.218750 --> 10622.949219).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11842.88 .. NELBO: 11842.92
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.43 .. NELBO: 5300.45
****************************************************************************************************
Validation loss decreased (10622.949219 --> 10600.906250).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11789.03 .. NELBO: 11789.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5312.44 .. NELBO: 5312.46
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.55 .. NELBO: 11780.59
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5335.57 .. NELBO: 5335.59
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.59 .. NELBO: 11792.63
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.23 .. NELBO: 5351.25
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.83 .. NELBO: 11795.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.16 .. NELBO: 5353.18
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11784.43 .. NELBO: 11784.47
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.2 .. NELBO: 5347.22
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  198
model: ETM(
  (t_drop): Dropout(p=0.03639473996509752, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=99, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=99, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=99, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 90.13 .. Rec_loss: 12264.06 .. NELBO: 12354.19
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 7.94 .. Rec_loss: 5444.02 .. NELBO: 5451.96
****************************************************************************************************
Validation loss decreased (inf --> 10903.924805).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.62 .. Rec_loss: 12247.93 .. NELBO: 12256.55
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.45 .. Rec_loss: 5431.67 .. NELBO: 5432.12
****************************************************************************************************
Validation loss decreased (10903.924805 --> 10864.235352).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.63 .. Rec_loss: 12207.31 .. NELBO: 12207.94
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5408.61 .. NELBO: 5408.69
****************************************************************************************************
Validation loss decreased (10864.235352 --> 10817.374023).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12136.87 .. NELBO: 12136.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5376.1 .. NELBO: 5376.13
****************************************************************************************************
Validation loss decreased (10817.374023 --> 10752.255859).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 12040.19 .. NELBO: 12040.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5339.99 .. NELBO: 5340.01
****************************************************************************************************
Validation loss decreased (10752.255859 --> 10680.020508).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11933.06 .. NELBO: 11933.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.88 .. NELBO: 5310.9
****************************************************************************************************
Validation loss decreased (10680.020508 --> 10621.802734).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11840.6 .. NELBO: 11840.64
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.77 .. NELBO: 5300.79
****************************************************************************************************
Validation loss decreased (10621.802734 --> 10601.580078).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11788.62 .. NELBO: 11788.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.46 .. NELBO: 5313.48
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.36 .. NELBO: 11781.4
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5336.46 .. NELBO: 5336.48
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.46 .. NELBO: 11793.5
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.49 .. NELBO: 5351.51
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.48 .. NELBO: 11795.52
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.99 .. NELBO: 5353.01
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11783.92 .. NELBO: 11783.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.86 .. NELBO: 5346.88
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.03639473996509752, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=99, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=99, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=99, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 94.59 .. Rec_loss: 12264.15 .. NELBO: 12358.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.1 .. Rec_loss: 5443.72 .. NELBO: 5451.82
****************************************************************************************************
Validation loss decreased (inf --> 10903.639648).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.73 .. Rec_loss: 12247.26 .. NELBO: 12255.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.47 .. Rec_loss: 5431.06 .. NELBO: 5431.53
****************************************************************************************************
Validation loss decreased (10903.639648 --> 10863.068359).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.67 .. Rec_loss: 12206.35 .. NELBO: 12207.02
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5407.57 .. NELBO: 5407.65
****************************************************************************************************
Validation loss decreased (10863.068359 --> 10815.290039).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12134.45 .. NELBO: 12134.57
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5374.58 .. NELBO: 5374.61
****************************************************************************************************
Validation loss decreased (10815.290039 --> 10749.223633).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12036.84 .. NELBO: 12036.89
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5338.26 .. NELBO: 5338.28
****************************************************************************************************
Validation loss decreased (10749.223633 --> 10676.564453).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11929.29 .. NELBO: 11929.33
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5309.53 .. NELBO: 5309.55
****************************************************************************************************
Validation loss decreased (10676.564453 --> 10619.106445).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11838.01 .. NELBO: 11838.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.44 .. NELBO: 5300.46
****************************************************************************************************
Validation loss decreased (10619.106445 --> 10600.924805).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11787.54 .. NELBO: 11787.58
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5314.17 .. NELBO: 5314.19
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11781.72 .. NELBO: 11781.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5337.4 .. NELBO: 5337.42
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11794.08 .. NELBO: 11794.12
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5351.9 .. NELBO: 5351.92
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11795.35 .. NELBO: 11795.39
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5352.89 .. NELBO: 5352.91
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11783.02 .. NELBO: 11783.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.65 .. NELBO: 5346.67
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.03639473996509752, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=99, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=99, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=99, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 99.23 .. Rec_loss: 12264.63 .. NELBO: 12363.86
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.79 .. Rec_loss: 5444.8 .. NELBO: 5453.59
****************************************************************************************************
Validation loss decreased (inf --> 10907.182617).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 9.44 .. Rec_loss: 12250.61 .. NELBO: 12260.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.49 .. Rec_loss: 5433.68 .. NELBO: 5434.17
****************************************************************************************************
Validation loss decreased (10907.182617 --> 10868.335938).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.69 .. Rec_loss: 12213.91 .. NELBO: 12214.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5411.97 .. NELBO: 5412.05
****************************************************************************************************
Validation loss decreased (10868.335938 --> 10824.091797).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12147.0 .. NELBO: 12147.11
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5380.3 .. NELBO: 5380.33
****************************************************************************************************
Validation loss decreased (10824.091797 --> 10760.648438).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12052.41 .. NELBO: 12052.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5344.02 .. NELBO: 5344.04
****************************************************************************************************
Validation loss decreased (10760.648438 --> 10688.086914).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11945.09 .. NELBO: 11945.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5313.38 .. NELBO: 5313.4
****************************************************************************************************
Validation loss decreased (10688.086914 --> 10626.792969).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11849.26 .. NELBO: 11849.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.71 .. NELBO: 5300.73
****************************************************************************************************
Validation loss decreased (10626.792969 --> 10601.449219).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11791.84 .. NELBO: 11791.88
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5311.35 .. NELBO: 5311.37
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.06 .. NELBO: 11780.1
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5334.38 .. NELBO: 5334.4
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.26 .. NELBO: 11792.3
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.96 .. NELBO: 5350.98
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.52 .. NELBO: 11796.56
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.7 .. NELBO: 5353.72
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11785.65 .. NELBO: 11785.69
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5347.92 .. NELBO: 5347.94
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Current call:  199
model: ETM(
  (t_drop): Dropout(p=0.050264728333737484, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=94, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=94, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=94, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 92.64 .. Rec_loss: 12264.52 .. NELBO: 12357.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.13 .. Rec_loss: 5444.54 .. NELBO: 5452.67
****************************************************************************************************
Validation loss decreased (inf --> 10905.340820).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 8.83 .. Rec_loss: 12250.25 .. NELBO: 12259.08
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.46 .. Rec_loss: 5433.57 .. NELBO: 5434.03
****************************************************************************************************
Validation loss decreased (10905.340820 --> 10868.055664).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.65 .. Rec_loss: 12214.53 .. NELBO: 12215.18
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5412.35 .. NELBO: 5412.43
****************************************************************************************************
Validation loss decreased (10868.055664 --> 10824.841797).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12149.32 .. NELBO: 12149.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5381.32 .. NELBO: 5381.35
****************************************************************************************************
Validation loss decreased (10824.841797 --> 10762.686523).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12056.91 .. NELBO: 12056.96
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5345.4 .. NELBO: 5345.42
****************************************************************************************************
Validation loss decreased (10762.686523 --> 10690.842773).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11950.67 .. NELBO: 11950.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5314.33 .. NELBO: 5314.35
****************************************************************************************************
Validation loss decreased (10690.842773 --> 10628.702148).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11854.24 .. NELBO: 11854.28
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.4 .. NELBO: 5300.42
****************************************************************************************************
Validation loss decreased (10628.702148 --> 10600.844727).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.67 .. NELBO: 11793.71
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5309.73 .. NELBO: 5309.75
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11779.93 .. NELBO: 11779.97
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5332.54 .. NELBO: 5332.56
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11791.21 .. NELBO: 11791.25
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5349.97 .. NELBO: 5349.99
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.22 .. NELBO: 11796.26
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.7 .. NELBO: 5353.72
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11785.86 .. NELBO: 11785.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5348.47 .. NELBO: 5348.49
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.050264728333737484, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=94, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=94, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=94, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 98.26 .. Rec_loss: 12264.64 .. NELBO: 12362.9
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.64 .. Rec_loss: 5444.62 .. NELBO: 5453.26
****************************************************************************************************
Validation loss decreased (inf --> 10906.520508).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 9.32 .. Rec_loss: 12250.74 .. NELBO: 12260.06
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.47 .. Rec_loss: 5433.72 .. NELBO: 5434.19
****************************************************************************************************
Validation loss decreased (10906.520508 --> 10868.376953).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.66 .. Rec_loss: 12215.0 .. NELBO: 12215.66
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5412.59 .. NELBO: 5412.67
****************************************************************************************************
Validation loss decreased (10868.376953 --> 10825.334961).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.12 .. Rec_loss: 12149.62 .. NELBO: 12149.74
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5381.56 .. NELBO: 5381.59
****************************************************************************************************
Validation loss decreased (10825.334961 --> 10763.183594).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12057.41 .. NELBO: 12057.46
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5345.53 .. NELBO: 5345.55
****************************************************************************************************
Validation loss decreased (10763.183594 --> 10691.106445).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11950.56 .. NELBO: 11950.6
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5314.34 .. NELBO: 5314.36
****************************************************************************************************
Validation loss decreased (10691.106445 --> 10628.728516).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11853.5 .. NELBO: 11853.54
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.49 .. NELBO: 5300.51
****************************************************************************************************
Validation loss decreased (10628.728516 --> 10601.013672).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.58 .. NELBO: 11793.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.07 .. NELBO: 5310.09
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.31 .. NELBO: 11780.35
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5333.0 .. NELBO: 5333.02
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11791.66 .. NELBO: 11791.7
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.24 .. NELBO: 5350.26
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.71 .. NELBO: 11796.75
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5353.66 .. NELBO: 5353.68
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11786.4 .. NELBO: 11786.44
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5348.21 .. NELBO: 5348.23
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
model: ETM(
  (t_drop): Dropout(p=0.050264728333737484, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=94, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=94, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=94, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 94.85 .. Rec_loss: 12264.77 .. NELBO: 12359.62
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 8.36 .. Rec_loss: 5444.83 .. NELBO: 5453.19
****************************************************************************************************
Validation loss decreased (inf --> 10906.383789).  Saving model ...
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 9.12 .. Rec_loss: 12251.64 .. NELBO: 12260.76
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.51 .. Rec_loss: 5434.36 .. NELBO: 5434.87
****************************************************************************************************
Validation loss decreased (10906.383789 --> 10869.724609).  Saving model ...
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.71 .. Rec_loss: 12216.82 .. NELBO: 12217.53
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.08 .. Rec_loss: 5413.37 .. NELBO: 5413.45
****************************************************************************************************
Validation loss decreased (10869.724609 --> 10826.882812).  Saving model ...
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.11 .. Rec_loss: 12151.71 .. NELBO: 12151.82
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 5382.31 .. NELBO: 5382.34
****************************************************************************************************
Validation loss decreased (10826.882812 --> 10764.670898).  Saving model ...
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 12059.0 .. NELBO: 12059.05
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5346.07 .. NELBO: 5346.09
****************************************************************************************************
Validation loss decreased (10764.670898 --> 10692.171875).  Saving model ...
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11952.03 .. NELBO: 11952.07
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5314.53 .. NELBO: 5314.55
****************************************************************************************************
Validation loss decreased (10692.171875 --> 10629.093750).  Saving model ...
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11854.05 .. NELBO: 11854.09
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5300.37 .. NELBO: 5300.39
****************************************************************************************************
Validation loss decreased (10629.093750 --> 10600.779297).  Saving model ...
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11793.41 .. NELBO: 11793.45
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5310.02 .. NELBO: 5310.04
****************************************************************************************************
EarlyStopping counter: 1 out of 5
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11780.12 .. NELBO: 11780.16
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5333.38 .. NELBO: 5333.4
****************************************************************************************************
EarlyStopping counter: 2 out of 5
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11792.09 .. NELBO: 11792.13
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5350.92 .. NELBO: 5350.94
****************************************************************************************************
EarlyStopping counter: 3 out of 5
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11796.95 .. NELBO: 11796.99
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5354.33 .. NELBO: 5354.35
****************************************************************************************************
EarlyStopping counter: 4 out of 5
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11786.83 .. NELBO: 11786.87
****************************************************************************************************
****************************************************************************************************
VALIDATION .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 5348.69 .. NELBO: 5348.71
****************************************************************************************************
EarlyStopping counter: 5 out of 5
Early stopping
Optimizing model took: 8422 seconds.
In [71]:
dump(optimizer_results_ETM, './octis/models/optimizer_results_ETM.joblib', compress=('lzma', 9))
Out[71]:
['./octis/models/optimizer_results_ETM.joblib']
In [35]:
optimizer_results_ETM = load('./octis/models/optimizer_results_ETM.joblib')
In [72]:
# the optimization process here is one of maximization, yet the provided function for plotting 
# assumes the oposite, so we shall invert the result.

values_to_plot_ETM = [-x for x in optimizer_results_ETM.info['f_val']]

plot_bayesian_optimization(values=values_to_plot_ETM, 
                          name_plot="ETM_Optimization_Convergence", 
                          log_scale=False, 
                          conv_max=True)

The ETM seems to have performed best on this constellation. It seems that the quality of this model is highly dependant on the size of the text segments and imporves with fewer splits within one document. Which is in intuitive, given that word2vec embeddings put a lot of mphasis on the ducument context and the relatins between its words.

In [73]:
#The image is just dumped into the working directory, we shall move ti somewhere more fitting

shutil.move('./ETM_Optimization_Convergence.png', './octis/results/ETM_Optimization_Convergence.png')

Image(filename='./octis/results/ETM_Optimization_Convergence.png')
Out[73]:
No description has been provided for this image
In [36]:
# Plotting WECoherenceCentroid' and 'WordEmbeddingsInvertedRBOCentroid' our two metrics
coherence_scores_ETM = [max(run) for run in optimizer_results_ETM.info['dict_model_runs']['WECoherenceCentroid'].values()]
diversity_scores_ETM = [max(run) for run in optimizer_results_ETM.info['dict_model_runs']['0_WordEmbeddingsInvertedRBOCentroid'].values()]

# Create a figure with twin y-axis for the second metric
fig, ax1 = plt.subplots(figsize=(10, 6))

ax1.set_xlabel('Iteration')
ax1.set_ylabel('Coherence Score', color='tab:blue')
ax1.plot(coherence_scores_ETM, marker='o', color='tab:blue')
ax1.tick_params(axis='y', labelcolor='tab:blue')
#ax1.set_ylim(0.23, 0.50)

ax2 = ax1.twinx() 
ax2.set_ylabel('Diversity Score', color='tab:red')  
ax2.plot(diversity_scores_ETM, marker='o', color='tab:red')
ax2.tick_params(axis='y', labelcolor='tab:red')
#ax2.set_ylim(0.75, 0.78)

plt.title('Optimization Progress for Coherence and Diversity')
ax1.grid(True)

plt.show()
No description has been provided for this image
In [61]:
# Extract the best configurations based on coherence scores
coherence_scores_ETM = optimizer_results_ETM.info['dict_model_runs']['WECoherenceCentroid']
diversity_scores_ETM = optimizer_results_ETM.info['dict_model_runs']['0_WordEmbeddingsInvertedRBOCentroid']

# Extracting scores and hyperparameter configurations
combined_scores = []
for i, (coherence_run, diversity_run) in enumerate(zip(coherence_scores_ETM.values(), diversity_scores_ETM.values())):
    max_coherence = max(coherence_run)
    max_diversity = max(diversity_run)
    num_topics = optimizer_results_ETM.info['x_iters']['num_topics'][i]
    num_layers = optimizer_results_ETM.info['x_iters']['num_layers'][i]
    num_neurons = optimizer_results_ETM.info['x_iters']['num_neurons'][i]
    learn_rate = optimizer_results_ETM.info['x_iters']['learn_rate'][i]
    activation = optimizer_results_ETM.info['x_iters']['activation'][i]
    optimizer_param = optimizer_results_ETM.info['x_iters']['optimizer'][i]
    dropout = optimizer_results_ETM.info['x_iters']['dropout'][i]
    
    combined_scores.append((max_coherence, max_diversity, num_topics, num_layers, num_neurons, learn_rate, activation, optimizer_param, dropout))

# Sort by coherence score first and take the top ten
top_ten_by_coherence = sorted(combined_scores, key=lambda x: x[0], reverse=True)[:10]

# Select the configuration with the highest diversity score from the top ten
best_overall_ETM = max(top_ten_by_coherence, key=lambda x: x[1])

# Print the best configuration
print("Best Coherence Score:", best_overall_ETM[0])
print("Corresponding Diversity Score:", best_overall_ETM[1])
print("Best Configuration: num_topics =", best_overall_ETM[2], 
      ", num_layers =", best_overall_ETM[3],
      ", num_neurons =", best_overall_ETM[4],
      ", learn_rate =", best_overall_ETM[5],
      ", activation =", best_overall_ETM[6],
      ", optimizer =", best_overall_ETM[7],
      ", dropout =", best_overall_ETM[8])

Best Coherence Score: 0.4806725309903266
Corresponding Diversity Score: 0.7572589879575945
Best Configuration: num_topics = 99 , num_layers = 1 , num_neurons = 750 , learn_rate = 0.04655802555184136 , activation = sigmoid , optimizer = adam , dropout = 0.03639473996509752
In [62]:
best_num_topics = best_overall_ETM[2]
best_num_layers = best_overall_ETM[3]
best_num_neurons = best_overall_ETM[4]
best_learn_rate = best_overall_ETM[5]
best_activation = best_overall_ETM[6]
best_optimizer = best_overall_ETM[7]
best_dropout = best_overall_ETM[8]

# Now we instantiate the ETM model with the best hyperparameters
best_model_ETM = ETM(num_topics=best_num_topics,
                     #num_layers=best_num_layers,
                     #num_neurons=best_num_neurons,
                     #solver=best_optimizer,
                     activation=best_activation,
                     dropout=best_dropout, 
                     batch_size=128,
                     use_partitions=False,
                     embeddings_path='./word2vec/word2vec_model.bin',
                     )

# Train the model with the dataset
best_model_ETM = best_model_ETM.train_model(dataset_final)

model: ETM(
  (t_drop): Dropout(p=0.03639473996509752, inplace=False)
  (theta_act): Sigmoid()
  (rho): Linear(in_features=300, out_features=13198, bias=False)
  (alphas): Linear(in_features=300, out_features=99, bias=False)
  (q_theta): Sequential(
    (0): Linear(in_features=13198, out_features=800, bias=True)
    (1): Sigmoid()
    (2): Linear(in_features=800, out_features=800, bias=True)
    (3): Sigmoid()
  )
  (mu_q_theta): Linear(in_features=800, out_features=99, bias=True)
  (logsigma_q_theta): Linear(in_features=800, out_features=99, bias=True)
)
****************************************************************************************************
Epoch----->1 .. LR: 0.005 .. KL_theta: 116.71 .. Rec_loss: 12002.98 .. NELBO: 12119.69
****************************************************************************************************
****************************************************************************************************
Epoch----->2 .. LR: 0.005 .. KL_theta: 9.9 .. Rec_loss: 11987.72 .. NELBO: 11997.62
****************************************************************************************************
****************************************************************************************************
Epoch----->3 .. LR: 0.005 .. KL_theta: 0.87 .. Rec_loss: 11949.06 .. NELBO: 11949.93
****************************************************************************************************
****************************************************************************************************
Epoch----->4 .. LR: 0.005 .. KL_theta: 0.15 .. Rec_loss: 11880.37 .. NELBO: 11880.52
****************************************************************************************************
****************************************************************************************************
Epoch----->5 .. LR: 0.005 .. KL_theta: 0.06 .. Rec_loss: 11788.75 .. NELBO: 11788.81
****************************************************************************************************
****************************************************************************************************
Epoch----->6 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11691.51 .. NELBO: 11691.56
****************************************************************************************************
****************************************************************************************************
Epoch----->7 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11616.31 .. NELBO: 11616.36
****************************************************************************************************
****************************************************************************************************
Epoch----->8 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11585.38 .. NELBO: 11585.43
****************************************************************************************************
****************************************************************************************************
Epoch----->9 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11593.18 .. NELBO: 11593.23
****************************************************************************************************
****************************************************************************************************
Epoch----->10 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11605.87 .. NELBO: 11605.92
****************************************************************************************************
****************************************************************************************************
Epoch----->11 .. LR: 0.005 .. KL_theta: 0.05 .. Rec_loss: 11601.47 .. NELBO: 11601.52
****************************************************************************************************
****************************************************************************************************
Epoch----->12 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11585.94 .. NELBO: 11585.98
****************************************************************************************************
****************************************************************************************************
Epoch----->13 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11573.05 .. NELBO: 11573.09
****************************************************************************************************
****************************************************************************************************
Epoch----->14 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11568.67 .. NELBO: 11568.71
****************************************************************************************************
****************************************************************************************************
Epoch----->15 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11570.51 .. NELBO: 11570.55
****************************************************************************************************
****************************************************************************************************
Epoch----->16 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11573.03 .. NELBO: 11573.07
****************************************************************************************************
****************************************************************************************************
Epoch----->17 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11573.06 .. NELBO: 11573.1
****************************************************************************************************
****************************************************************************************************
Epoch----->18 .. LR: 0.005 .. KL_theta: 0.04 .. Rec_loss: 11570.14 .. NELBO: 11570.18
****************************************************************************************************
****************************************************************************************************
Epoch----->19 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11565.7 .. NELBO: 11565.73
****************************************************************************************************
****************************************************************************************************
Epoch----->20 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11562.72 .. NELBO: 11562.75
****************************************************************************************************
****************************************************************************************************
Epoch----->21 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11562.27 .. NELBO: 11562.3
****************************************************************************************************
****************************************************************************************************
Epoch----->22 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11563.18 .. NELBO: 11563.21
****************************************************************************************************
****************************************************************************************************
Epoch----->23 .. LR: 0.005 .. KL_theta: 0.03 .. Rec_loss: 11563.67 .. NELBO: 11563.7
****************************************************************************************************
****************************************************************************************************
Epoch----->24 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11563.21 .. NELBO: 11563.23
****************************************************************************************************
****************************************************************************************************
Epoch----->25 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11562.2 .. NELBO: 11562.22
****************************************************************************************************
****************************************************************************************************
Epoch----->26 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11561.34 .. NELBO: 11561.36
****************************************************************************************************
****************************************************************************************************
Epoch----->27 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11561.08 .. NELBO: 11561.1
****************************************************************************************************
****************************************************************************************************
Epoch----->28 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11561.41 .. NELBO: 11561.43
****************************************************************************************************
****************************************************************************************************
Epoch----->29 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11561.12 .. NELBO: 11561.14
****************************************************************************************************
****************************************************************************************************
Epoch----->30 .. LR: 0.005 .. KL_theta: 0.02 .. Rec_loss: 11561.12 .. NELBO: 11561.14
****************************************************************************************************
****************************************************************************************************
Epoch----->31 .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 11560.62 .. NELBO: 11560.63
****************************************************************************************************
****************************************************************************************************
Epoch----->32 .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 11560.49 .. NELBO: 11560.5
****************************************************************************************************
****************************************************************************************************
Epoch----->33 .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 11560.5 .. NELBO: 11560.51
****************************************************************************************************
****************************************************************************************************
Epoch----->34 .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 11560.38 .. NELBO: 11560.39
****************************************************************************************************
****************************************************************************************************
Epoch----->35 .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 11560.75 .. NELBO: 11560.76
****************************************************************************************************
****************************************************************************************************
Epoch----->36 .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 11560.74 .. NELBO: 11560.75
****************************************************************************************************
****************************************************************************************************
Epoch----->37 .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 11560.42 .. NELBO: 11560.43
****************************************************************************************************
****************************************************************************************************
Epoch----->38 .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 11560.42 .. NELBO: 11560.43
****************************************************************************************************
****************************************************************************************************
Epoch----->39 .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 11560.34 .. NELBO: 11560.35
****************************************************************************************************
****************************************************************************************************
Epoch----->40 .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 11560.33 .. NELBO: 11560.34
****************************************************************************************************
****************************************************************************************************
Epoch----->41 .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 11560.41 .. NELBO: 11560.42
****************************************************************************************************
****************************************************************************************************
Epoch----->42 .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 11560.52 .. NELBO: 11560.53
****************************************************************************************************
****************************************************************************************************
Epoch----->43 .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 11560.33 .. NELBO: 11560.34
****************************************************************************************************
****************************************************************************************************
Epoch----->44 .. LR: 0.005 .. KL_theta: 0.01 .. Rec_loss: 11560.2 .. NELBO: 11560.21
****************************************************************************************************
****************************************************************************************************
Epoch----->45 .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 11560.24 .. NELBO: 11560.24
****************************************************************************************************
****************************************************************************************************
Epoch----->46 .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 11560.38 .. NELBO: 11560.38
****************************************************************************************************
****************************************************************************************************
Epoch----->47 .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 11560.45 .. NELBO: 11560.45
****************************************************************************************************
****************************************************************************************************
Epoch----->48 .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 11560.33 .. NELBO: 11560.33
****************************************************************************************************
****************************************************************************************************
Epoch----->49 .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 11560.36 .. NELBO: 11560.36
****************************************************************************************************
****************************************************************************************************
Epoch----->50 .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 11560.4 .. NELBO: 11560.4
****************************************************************************************************
****************************************************************************************************
Epoch----->51 .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 11560.23 .. NELBO: 11560.23
****************************************************************************************************
****************************************************************************************************
Epoch----->52 .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 11560.27 .. NELBO: 11560.27
****************************************************************************************************
****************************************************************************************************
Epoch----->53 .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 11560.2 .. NELBO: 11560.2
****************************************************************************************************
****************************************************************************************************
Epoch----->54 .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 11560.26 .. NELBO: 11560.26
****************************************************************************************************
****************************************************************************************************
Epoch----->55 .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 11560.19 .. NELBO: 11560.19
****************************************************************************************************
****************************************************************************************************
Epoch----->56 .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 11560.29 .. NELBO: 11560.29
****************************************************************************************************
****************************************************************************************************
Epoch----->57 .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 11560.37 .. NELBO: 11560.37
****************************************************************************************************
****************************************************************************************************
Epoch----->58 .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 11560.58 .. NELBO: 11560.58
****************************************************************************************************
****************************************************************************************************
Epoch----->59 .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 11560.29 .. NELBO: 11560.29
****************************************************************************************************
****************************************************************************************************
Epoch----->60 .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 11560.44 .. NELBO: 11560.44
****************************************************************************************************
****************************************************************************************************
Epoch----->61 .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 11560.4 .. NELBO: 11560.4
****************************************************************************************************
****************************************************************************************************
Epoch----->62 .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 11560.36 .. NELBO: 11560.36
****************************************************************************************************
****************************************************************************************************
Epoch----->63 .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 11560.44 .. NELBO: 11560.44
****************************************************************************************************
****************************************************************************************************
Epoch----->64 .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 11560.38 .. NELBO: 11560.38
****************************************************************************************************
****************************************************************************************************
Epoch----->65 .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 11560.45 .. NELBO: 11560.45
****************************************************************************************************
****************************************************************************************************
Epoch----->66 .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 11560.32 .. NELBO: 11560.32
****************************************************************************************************
****************************************************************************************************
Epoch----->67 .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 11560.32 .. NELBO: 11560.32
****************************************************************************************************
****************************************************************************************************
Epoch----->68 .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 11560.41 .. NELBO: 11560.41
****************************************************************************************************
****************************************************************************************************
Epoch----->69 .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 11560.27 .. NELBO: 11560.27
****************************************************************************************************
****************************************************************************************************
Epoch----->70 .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 11560.34 .. NELBO: 11560.34
****************************************************************************************************
****************************************************************************************************
Epoch----->71 .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 11560.46 .. NELBO: 11560.46
****************************************************************************************************
****************************************************************************************************
Epoch----->72 .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 11560.43 .. NELBO: 11560.43
****************************************************************************************************
****************************************************************************************************
Epoch----->73 .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 11560.3 .. NELBO: 11560.3
****************************************************************************************************
****************************************************************************************************
Epoch----->74 .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 11560.35 .. NELBO: 11560.35
****************************************************************************************************
****************************************************************************************************
Epoch----->75 .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 11560.34 .. NELBO: 11560.34
****************************************************************************************************
****************************************************************************************************
Epoch----->76 .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 11560.39 .. NELBO: 11560.39
****************************************************************************************************
****************************************************************************************************
Epoch----->77 .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 11560.4 .. NELBO: 11560.4
****************************************************************************************************
****************************************************************************************************
Epoch----->78 .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 11560.34 .. NELBO: 11560.34
****************************************************************************************************
****************************************************************************************************
Epoch----->79 .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 11560.35 .. NELBO: 11560.35
****************************************************************************************************
****************************************************************************************************
Epoch----->80 .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 11560.4 .. NELBO: 11560.4
****************************************************************************************************
****************************************************************************************************
Epoch----->81 .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 11560.43 .. NELBO: 11560.43
****************************************************************************************************
****************************************************************************************************
Epoch----->82 .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 11560.44 .. NELBO: 11560.44
****************************************************************************************************
****************************************************************************************************
Epoch----->83 .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 11560.42 .. NELBO: 11560.42
****************************************************************************************************
****************************************************************************************************
Epoch----->84 .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 11560.3 .. NELBO: 11560.3
****************************************************************************************************
****************************************************************************************************
Epoch----->85 .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 11560.33 .. NELBO: 11560.33
****************************************************************************************************
****************************************************************************************************
Epoch----->86 .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 11560.4 .. NELBO: 11560.4
****************************************************************************************************
****************************************************************************************************
Epoch----->87 .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 11560.33 .. NELBO: 11560.33
****************************************************************************************************
****************************************************************************************************
Epoch----->88 .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 11560.45 .. NELBO: 11560.45
****************************************************************************************************
****************************************************************************************************
Epoch----->89 .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 11560.15 .. NELBO: 11560.15
****************************************************************************************************
****************************************************************************************************
Epoch----->90 .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 11560.38 .. NELBO: 11560.38
****************************************************************************************************
****************************************************************************************************
Epoch----->91 .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 11560.29 .. NELBO: 11560.29
****************************************************************************************************
****************************************************************************************************
Epoch----->92 .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 11560.43 .. NELBO: 11560.43
****************************************************************************************************
****************************************************************************************************
Epoch----->93 .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 11560.27 .. NELBO: 11560.27
****************************************************************************************************
****************************************************************************************************
Epoch----->94 .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 11560.37 .. NELBO: 11560.37
****************************************************************************************************
****************************************************************************************************
Epoch----->95 .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 11560.32 .. NELBO: 11560.32
****************************************************************************************************
****************************************************************************************************
Epoch----->96 .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 11560.4 .. NELBO: 11560.4
****************************************************************************************************
****************************************************************************************************
Epoch----->97 .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 11560.65 .. NELBO: 11560.65
****************************************************************************************************
****************************************************************************************************
Epoch----->98 .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 11560.16 .. NELBO: 11560.16
****************************************************************************************************
****************************************************************************************************
Epoch----->99 .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 11560.28 .. NELBO: 11560.28
****************************************************************************************************
****************************************************************************************************
Epoch----->100 .. LR: 0.005 .. KL_theta: 0.0 .. Rec_loss: 11560.54 .. NELBO: 11560.54
****************************************************************************************************
In [65]:
dump(best_model_ETM, './octis/models/best_model_ETM.joblib', compress=('lzma', 9))
best_model_ETM = load('./octis/models/best_model_ETM.joblib')
In [66]:
top_words_per_topic_ETM = best_model_ETM['topics']

# Display the top words for each topic
for topic_id, words in enumerate(top_words_per_topic_ETM):
    print("Topic", topic_id + 1, ":", words)

Topic 1 : ['willing', 'mistake', 'examined', 'understanding', 'pardon', 'travel', 'vivid', 'stage', 'sum', 'labour']
Topic 2 : ['remote', 'rapid', 'willing', 'sum', 'the', 'enthusiasm', 'forgive', 'obtained', 'labour', 'ice']
Topic 3 : ['sex', 'the', 'obtained', 'disappointment', 'ice', 'mistake', 'vivid', 'sum', 'forgive', 'willing']
Topic 4 : ['stage', 'sum', 'travel', 'the', 'willing', 'obtained', 'mistake', 'pardon', 'sex', 'understanding']
Topic 5 : ['mistake', 'willing', 'the', 'sum', 'endeavour', 'understanding', 'obtained', 'rapid', 'vivid', 'impatient']
Topic 6 : ['willing', 'vivid', 'stage', 'travel', 'size', 'forgive', 'remote', 'mistake', 'the', 'ice']
Topic 7 : ['willing', 'obtained', 'affections', 'mistake', 'date', 'rapid', 'examined', 'momentary', 'the', 'conducted']
Topic 8 : ['forgive', 'mistake', 'afterward', 'size', 'travel', 'willing', 'difference', 'examined', 'authority', 'rapid']
Topic 9 : ['understanding', 'forgive', 'momentary', 'willing', 'stage', 'travel', 'mistake', 'affections', 'vivid', 'the']
Topic 10 : ['sex', 'travel', 'mistake', 'coloured', 'magnificent', 'obtained', 'serve', 'afterward', 'chill', 'stage']
Topic 11 : ['stage', 'vivid', 'willing', 'mistake', 'the', 'examined', 'coloured', 'forgive', 'ice', 'affections']
Topic 12 : ['remote', 'willing', 'the', 'vivid', 'heir', 'enthusiasm', 'conducted', 'stage', 'sum', 'obtained']
Topic 13 : ['the', 'disappointment', 'vivid', 'obtained', 'forgive', 'examined', 'size', 'enthusiasm', 'travel', 'stage']
Topic 14 : ['the', 'vivid', 'willing', 'understanding', 'stage', 'travel', 'momentary', 'mistake', 'sum', 'examined']
Topic 15 : ['stage', 'travel', 'forgive', 'examined', 'willing', 'conducted', 'disappointment', 'affections', 'enthusiasm', 'mistake']
Topic 16 : ['travel', 'obtained', 'disappointment', 'forgive', 'enemies', 'mistake', 'vivid', 'genuine', 'reward', 'hearth']
Topic 17 : ['the', 'abode', 'sex', 'stage', 'forgive', 'willing', 'affections', 'lightly', 'pardon', 'travel']
Topic 18 : ['stage', 'vivid', 'mistake', 'willing', 'travel', 'enthusiasm', 'examined', 'momentary', 'size', 'pardon']
Topic 19 : ['willing', 'size', 'heir', 'stage', 'sum', 'serve', 'vivid', 'travel', 'understanding', 'the']
Topic 20 : ['willing', 'the', 'mistake', 'stage', 'enthusiasm', 'enemies', 'sum', 'conducted', 'accordingly', 'pardon']
Topic 21 : ['travel', 'forgive', 'mistake', 'stage', 'vivid', 'sum', 'coloured', 'afterward', 'ice', 'momentary']
Topic 22 : ['willing', 'disappointment', 'stage', 'affections', 'understanding', 'vivid', 'profound', 'the', 'examined', 'mistake']
Topic 23 : ['travel', 'enthusiasm', 'endeavour', 'obtained', 'guilty', 'mistake', 'pardon', 'disappointment', 'fairy', 'genuine']
Topic 24 : ['willing', 'sum', 'momentary', 'disappointment', 'examined', 'understanding', 'obtained', 'the', 'folly', 'date']
Topic 25 : ['mistake', 'affections', 'the', 'sum', 'forgive', 'understanding', 'stage', 'obtained', 'travel', 'sex']
Topic 26 : ['willing', 'the', 'vivid', 'fairy', 'momentary', 'travel', 'obtained', 'faintly', 'disappointment', 'ice']
Topic 27 : ['understanding', 'stage', 'disappointment', 'the', 'travel', 'mistake', 'examined', 'momentary', 'endeavour', 'willing']
Topic 28 : ['examined', 'sex', 'remote', 'mistake', 'conducted', 'willing', 'vivid', 'obtained', 'lightly', 'the']
Topic 29 : ['stage', 'understanding', 'sum', 'willing', 'travel', 'housekeeper', 'obtained', 'heir', 'forgive', 'size']
Topic 30 : ['enemies', 'the', 'guide', 'lightly', 'momentary', 'mistake', 'foreign', 'stage', 'vivid', 'folly']
Topic 31 : ['the', 'obtained', 'lightly', 'date', 'travel', 'sex', 'contempt', 'housekeeper', 'mistake', 'enthusiasm']
Topic 32 : ['stage', 'ice', 'willing', 'vivid', 'enthusiasm', 'the', 'disappointment', 'momentary', 'obtained', 'travel']
Topic 33 : ['the', 'understanding', 'willing', 'vivid', 'travel', 'affections', 'stage', 'disappointment', 'obtained', 'enthusiasm']
Topic 34 : ['the', 'forgive', 'willing', 'guide', 'stage', 'understanding', 'mistake', 'disappointment', 'labour', 'guilty']
Topic 35 : ['willing', 'enthusiasm', 'disappointment', 'understanding', 'stage', 'the', 'coloured', 'mistake', 'sex', 'vivid']
Topic 36 : ['the', 'travel', 'stage', 'examined', 'enthusiasm', 'vivid', 'forgive', 'mistake', 'fairy', 'inclined']
Topic 37 : ['the', 'understanding', 'mistake', 'ice', 'travel', 'size', 'double', 'sum', 'stage', 'afterward']
Topic 38 : ['understanding', 'stage', 'affections', 'forgive', 'mistake', 'willing', 'rapid', 'sum', 'vivid', 'reputation']
Topic 39 : ['willing', 'disappointment', 'the', 'stage', 'conducted', 'affections', 'forgive', 'abode', 'vivid', 'understanding']
Topic 40 : ['willing', 'the', 'mistake', 'momentary', 'stage', 'rapid', 'ice', 'obtained', 'understanding', 'disappointment']
Topic 41 : ['stage', 'enemies', 'agitation', 'willing', 'travel', 'mistake', 'examined', 'affections', 'student', 'the']
Topic 42 : ['forgive', 'mistake', 'willing', 'stage', 'disappointment', 'examined', 'understanding', 'travel', 'conducted', 'the']
Topic 43 : ['understanding', 'reputation', 'guilty', 'disappointment', 'the', 'sum', 'willing', 'guide', 'enthusiasm', 'conducted']
Topic 44 : ['mistake', 'disappointment', 'stage', 'enemies', 'fellows', 'pardon', 'understanding', 'willing', 'sex', 'affections']
Topic 45 : ['mistake', 'disappointment', 'forgive', 'vivid', 'momentary', 'stage', 'willing', 'enthusiasm', 'ice', 'chill']
Topic 46 : ['willing', 'sum', 'ice', 'the', 'affections', 'momentary', 'conducted', 'heir', 'lightly', 'mistake']
Topic 47 : ['affections', 'the', 'stage', 'understanding', 'vivid', 'momentary', 'obtained', 'sum', 'willing', 'mistake']
Topic 48 : ['understanding', 'disappointment', 'vivid', 'stage', 'agitation', 'obtained', 'the', 'ice', 'travel', 'sex']
Topic 49 : ['willing', 'stage', 'the', 'sum', 'heir', 'travel', 'understanding', 'genuine', 'mistake', 'obtained']
Topic 50 : ['understanding', 'willing', 'vivid', 'the', 'stage', 'rapid', 'travel', 'mistake', 'remote', 'obtained']
Topic 51 : ['the', 'stage', 'sum', 'vivid', 'sex', 'enthusiasm', 'travel', 'remote', 'forgive', 'willing']
Topic 52 : ['the', 'willing', 'understanding', 'conducted', 'disappointment', 'obtained', 'sum', 'travel', 'heir', 'momentary']
Topic 53 : ['travel', 'sex', 'agitation', 'obtained', 'vivid', 'understanding', 'mistake', 'pardon', 'afterward', 'affections']
Topic 54 : ['understanding', 'travel', 'vivid', 'sole', 'stage', 'obtained', 'disappointment', 'the', 'afterward', 'sum']
Topic 55 : ['willing', 'vivid', 'the', 'understanding', 'stage', 'heir', 'affections', 'mistake', 'size', 'conducted']
Topic 56 : ['willing', 'conducted', 'understanding', 'stage', 'the', 'mistake', 'affections', 'obtained', 'examined', 'rapid']
Topic 57 : ['affections', 'willing', 'sex', 'enthusiasm', 'ice', 'mistake', 'understanding', 'labour', 'abode', 'lightly']
Topic 58 : ['heir', 'obtained', 'foreign', 'fairy', 'size', 'momentary', 'forgive', 'understanding', 'willing', 'mistake']
Topic 59 : ['the', 'stage', 'travel', 'enemies', 'sex', 'heir', 'willing', 'ice', 'sum', 'obtained']
Topic 60 : ['travel', 'enemies', 'endeavour', 'size', 'stage', 'sex', 'the', 'disappointment', 'willing', 'understanding']
Topic 61 : ['stage', 'mistake', 'size', 'endeavour', 'sum', 'travel', 'enthusiasm', 'understanding', 'willing', 'ice']
Topic 62 : ['vivid', 'honourable', 'understanding', 'enemies', 'heir', 'fairy', 'enthusiasm', 'warning', 'authority', 'the']
Topic 63 : ['conducted', 'obtained', 'understanding', 'willing', 'examined', 'stage', 'vivid', 'lightly', 'affections', 'disappointment']
Topic 64 : ['mistake', 'stage', 'willing', 'travel', 'examined', 'pardon', 'rapid', 'contempt', 'lightly', 'vivid']
Topic 65 : ['mistake', 'sex', 'stage', 'obtained', 'ice', 'examined', 'the', 'pardon', 'enemies', 'understanding']
Topic 66 : ['mistake', 'represented', 'the', 'stage', 'housekeeper', 'momentary', 'labour', 'willing', 'size', 'enthusiasm']
Topic 67 : ['willing', 'agitation', 'contempt', 'prince', 'sum', 'momentary', 'vivid', 'mistake', 'stage', 'examined']
Topic 68 : ['stage', 'the', 'endeavour', 'sum', 'enthusiasm', 'willing', 'mistake', 'size', 'examined', 'vivid']
Topic 69 : ['willing', 'stage', 'disappointment', 'warning', 'obtained', 'travel', 'mistake', 'the', 'forgive', 'conducted']
Topic 70 : ['willing', 'mistake', 'guide', 'the', 'conducted', 'rapid', 'disappointment', 'travel', 'affections', 'understanding']
Topic 71 : ['vivid', 'remote', 'obtained', 'disappointment', 'the', 'understanding', 'willing', 'sex', 'endeavour', 'sole']
Topic 72 : ['willing', 'understanding', 'the', 'disappointment', 'travel', 'vivid', 'stage', 'lightly', 'size', 'remote']
Topic 73 : ['vivid', 'the', 'momentary', 'willing', 'enemies', 'obtained', 'sum', 'rapid', 'heir', 'endeavour']
Topic 74 : ['willing', 'understanding', 'stage', 'the', 'obtained', 'lightly', 'pardon', 'mistake', 'enthusiasm', 'sex']
Topic 75 : ['stage', 'the', 'sex', 'mistake', 'guilty', 'double', 'forgive', 'willing', 'obtained', 'endeavour']
Topic 76 : ['sum', 'the', 'willing', 'understanding', 'ice', 'disappointment', 'enthusiasm', 'remote', 'travel', 'heir']
Topic 77 : ['travel', 'mistake', 'vivid', 'the', 'disappointment', 'obtained', 'stage', 'ice', 'enemies', 'endeavour']
Topic 78 : ['understanding', 'sum', 'the', 'enthusiasm', 'conducted', 'guilty', 'affections', 'travel', 'labour', 'forgive']
Topic 79 : ['mistake', 'willing', 'enthusiasm', 'stage', 'size', 'the', 'vivid', 'affections', 'warning', 'disappointment']
Topic 80 : ['understanding', 'the', 'willing', 'vivid', 'mistake', 'enthusiasm', 'affections', 'stage', 'savage', 'conducted']
Topic 81 : ['willing', 'mistake', 'sum', 'fellows', 'vivid', 'understanding', 'heir', 'serve', 'lightly', 'disappointment']
Topic 82 : ['stage', 'willing', 'obtained', 'the', 'housekeeper', 'sum', 'agitation', 'disappointment', 'ice', 'conducted']
Topic 83 : ['stage', 'willing', 'mistake', 'sex', 'understanding', 'the', 'obtained', 'sum', 'enthusiasm', 'travel']
Topic 84 : ['mistake', 'travel', 'vivid', 'stage', 'examined', 'the', 'sum', 'forgive', 'pardon', 'heir']
Topic 85 : ['travel', 'prince', 'disappointment', 'fellows', 'mistake', 'stage', 'willing', 'hearth', 'sum', 'affections']
Topic 86 : ['mistake', 'travel', 'obtained', 'ice', 'foreign', 'momentary', 'the', 'stage', 'folly', 'willing']
Topic 87 : ['stage', 'willing', 'momentary', 'obtained', 'understanding', 'disappointment', 'fairy', 'sex', 'guide', 'agitation']
Topic 88 : ['the', 'willing', 'stage', 'beating', 'forgive', 'understanding', 'travel', 'endeavour', 'obtained', 'mistake']
Topic 89 : ['disappointment', 'savage', 'examined', 'understanding', 'willing', 'the', 'ice', 'vivid', 'pardon', 'enthusiasm']
Topic 90 : ['travel', 'vivid', 'ice', 'fairy', 'mistake', 'willing', 'guilty', 'rapid', 'the', 'forgive']
Topic 91 : ['willing', 'understanding', 'remote', 'mistake', 'travel', 'the', 'vivid', 'stage', 'sum', 'enemies']
Topic 92 : ['disappointment', 'examined', 'remote', 'willing', 'the', 'mistake', 'obtained', 'sex', 'understanding', 'endeavour']
Topic 93 : ['enthusiasm', 'willing', 'stage', 'sex', 'forgive', 'the', 'obtained', 'conducted', 'sum', 'lightly']
Topic 94 : ['travel', 'splendid', 'stage', 'foreign', 'mistake', 'the', 'understanding', 'size', 'coloured', 'obtained']
Topic 95 : ['travel', 'disappointment', 'sex', 'the', 'mistake', 'obtained', 'stage', 'pardon', 'guilty', 'fellows']
Topic 96 : ['mistake', 'enemies', 'travel', 'forgive', 'stage', 'the', 'size', 'vivid', 'sex', 'guide']
Topic 97 : ['mistake', 'the', 'forgive', 'stage', 'pardon', 'vivid', 'enemies', 'understanding', 'serve', 'willing']
Topic 98 : ['mistake', 'travel', 'stage', 'willing', 'understanding', 'forgive', 'rapid', 'affections', 'the', 'date']
Topic 99 : ['examined', 'understanding', 'stage', 'enemies', 'willing', 'serve', 'the', 'forgive', 'sum', 'faintly']
In [67]:
dump(top_words_per_topic_ETM,'./analysis/top_words_per_topic_ETM.joblib')
Out[67]:
['./analysis/top_words_per_topic_ETM.joblib']
In [68]:
topic_document_matrix_ETM = best_model_ETM["topic-document-matrix"]
topic_distribution_df_ETM = get_document_topic_percentages(topic_document_matrix_ETM)
topic_distribution_df_ETM.head(10)
Out[68]:
Topic 1 Topic 2 Topic 3 Topic 4 Topic 5 Topic 6 Topic 7 Topic 8 Topic 9 Topic 10 ... Topic 90 Topic 91 Topic 92 Topic 93 Topic 94 Topic 95 Topic 96 Topic 97 Topic 98 Topic 99
Document ID
0 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 ... 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01
1 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 ... 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01
2 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 ... 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01
3 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 ... 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01
4 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 ... 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01
5 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 ... 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01
6 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 ... 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01
7 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 ... 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01
8 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 ... 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01
9 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 ... 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01

10 rows × 99 columns

In [69]:
original_indexes = dataset_final._Dataset__original_indexes
topic_distribution_df_ETM['Original Document Index'] = original_indexes
In [70]:
df_input['input_index'] = df_input.index
df_input['ref'] = df_input['reference'].apply(lambda x: x.rsplit('_', 1)[0])
df_merge = df_input.merge(df_ref, left_on='ref', right_on='reference', how='left')
df_merge['date'] = df_merge['date'].astype('Int64')
df_merge['birthdate'] = df_merge['birthdate'].astype('Int64')
df_merge.head()
Out[70]:
preprocessed_text_x reference_x sentiment input_index ref index reference_y title author date ... mode genre gender birthdate nationality role (central/peripheral/influence) text source preprocessed_text_y tokenized_text
0 fragment adventure turned steed hoping cross d... Aikin_SirBertran_1 -0.9201 0 Aikin_SirBertran 0 Aikin_SirBertran Sir Bertrand, A Fragment Aikin, John and Anna Laetitia 1773 ... Fragment Gothic NaN <NA> English Central SIR BERTRAND, A FRAGMENT:\n\nAFTER this advent... colors fragment adventure turned steed hoping cross d... ['fragment', 'adventure', 'turned', 'steed', '...
1 plague portion ensuing relating street manner ... Ainsworth_OldSaintPa_1 0.9773 1 Ainsworth_OldSaintPa 1 Ainsworth_OldSaintPa Old Saint Paul's: A Tale of the Plague and the... Ainsworth, William Harrison 1841 ... NaN NaN m 1805 English NaN OLD SAINT PAUL\'S\n\n _A TALE OF THE PLAGUE\n... pb-manual plague portion ensuing relating street manner ... ['plague', 'portion', 'ensuing', 'relating', '...
2 whatsoever away terms included language charac... Ainsworth_Rookwood_1 0.9989 2 Ainsworth_Rookwood 2 Ainsworth_Rookwood Rookwood Ainsworth, William Harrison 1834 ... Novel Gothic m 1805 English Central \nThe Project Gutenberg EBook of Rookwood, by ... colors whatsoever away terms included language charac... ['whatsoever', 'away', 'terms', 'included', 'l...
3 doll wangos leaving justice skill witches spea... Ainsworth_TheLancash_1 -0.9998 3 Ainsworth_TheLancash 3 Ainsworth_TheLancash The Lancashire Witches: A Romance of Pendle Fo... Ainsworth, William Harrison 1848 ... NaN NaN m 1805 English NaN Proofreading Team.\n\n\n\n\n\n\n[Illustration:... pb-manual doll wangos leaving justice skill witches spea... ['doll', 'wangos', 'leaving', 'justice', 'skil...
4 note text little work finished year intended i... Austen_Northanger_1 1.0000 4 Austen_Northanger 5 Austen_Northanger Northanger Abbey Austen, Jane 1817 ... NaN NaN f 1775 English NaN Northanger Abbey\n\n\nby Jane Austen\n\n(1803)... gutenberg note text little work finished year intended i... ['note', 'text', 'little', 'work', 'finished',...

5 rows × 21 columns

In [71]:
# merging of topic distribution with features
# reorganizing the order of columns and clean up
df_txt_features_ETM = df_merge.merge(topic_distribution_df_ETM, right_on='Original Document Index', left_on='input_index')
df_txt_features_ETM=df_txt_features_ETM.drop(['text', 'preprocessed_text_y','tokenized_text','preprocessed_text_x', 'index', 'ref', 'Original Document Index'], axis=1)
df_txt_features_ETM.rename(columns={'reference_x': 'reference','reference_y': 'text_key'}, inplace=True)
df_txt_features_ETM = df_txt_features_ETM[['input_index'] + [col for col in df_txt_features_ETM.columns if col != 'input_index']]
df_txt_features_ETM.rename(columns={'role (central/peripheral/influence)': 'role'}, inplace=True)
df_txt_features_ETM.head()
Out[71]:
input_index reference sentiment text_key title author date period mode genre ... Topic 90 Topic 91 Topic 92 Topic 93 Topic 94 Topic 95 Topic 96 Topic 97 Topic 98 Topic 99
0 0 Aikin_SirBertran_1 -0.9201 Aikin_SirBertran Sir Bertrand, A Fragment Aikin, John and Anna Laetitia 1773 Romantic Fragment Gothic ... 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01
1 1 Ainsworth_OldSaintPa_1 0.9773 Ainsworth_OldSaintPa Old Saint Paul's: A Tale of the Plague and the... Ainsworth, William Harrison 1841 NaN NaN NaN ... 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01
2 2 Ainsworth_Rookwood_1 0.9989 Ainsworth_Rookwood Rookwood Ainsworth, William Harrison 1834 NaN Novel Gothic ... 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01
3 3 Ainsworth_TheLancash_1 -0.9998 Ainsworth_TheLancash The Lancashire Witches: A Romance of Pendle Fo... Ainsworth, William Harrison 1848 NaN NaN NaN ... 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01
4 4 Austen_Northanger_1 1.0000 Austen_Northanger Northanger Abbey Austen, Jane 1817 NaN NaN NaN ... 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01 1.01

5 rows × 114 columns

In [72]:
df_txt_features_ETM.to_csv('./analysis/df_txt_features_ETM.csv', index=False)
#df_txt_features_ETM=pd.read_csv('./analysis/df_txt_features_ETM.csv')

pyLDAvis exports

In [73]:
topic_term_dists_ETM = best_model_ETM["topic-word-matrix"]
doc_topic_dists_ETM = best_model_ETM["topic-document-matrix"]
doc_topic_dists_ETM = doc_topic_dists_ETM.T
In [74]:
dump(topic_term_dists_ETM, './analysis/topic_term_dists_ETM.joblib')
dump(doc_topic_dists_ETM, './analysis/doc_topic_dists_ETM.joblib')
Out[74]:
['./analysis/doc_topic_dists_ETM.joblib']